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INTRODUCCIÓN 


Desde hace más de dos décadas se ha ido produciendo una abun- 
dante literatura sobre evaluación, o para ser más precisos, sobre in- 
vestigación evaluativa. Sin embargo, hasta época muy reciente, casi 
todos los libros sobre el tema se han ceñido a los aspectos concer- 
nientes a la evaluación económica. Dado que los recursos son limi- 
tados, lo que ha preocupado metodológicamente, ha sido desarrollar 
procedimientos que sirvan para indicar la rentabilidad (o no) de 
determinados programas o servicios, aunque. hayan existido evalua- 
ciones 'que iban más allá de este enfoque. 

Otro aspecto que nos parece importante señalar en esta historia 
de la evaluación es que los procedimientos desarrollados, durante 
largo tiempo estuvieron como atrapados en una perspectiva casi ex- 
clusiva de los modelos experimentales y cuasi-experimentales, apo- 
yada como cabe en estos modelos, en la utilización de métodos cuan- 
titativos. 

Todo esto resulta inaplicable en muchos campos de la interven- 
ción social. No es extraño, entonces que, a pesar de lo que se ha- 
blaba de la importancia de la evaluación, todo quedaba en propues- 
tas. En este punto nos parece oportuno recordar que hace más de 
30 años se pretendió impulsar la investigación evaluativa en el campo 
del trabajo social. En el IV Congreso Panamericano de Servicio So- 
cial realizado en. noviembre de 1961- en la ciudad de San José de 
Costa Rica, se «señaló la necesidad y la. importancia de la evaluación 
para adecuar los objetivos y los servicios que se ofrecen»..., que las 
«instituciones acepten los ajustes que se puedan desprender», como 
resultado de las evaluaciones que se realicen... Estás sugerencias nun- 
ca se pudieron llevar a la práctica. 

A medida que se fue desarrollando y perfeccionando la metodo- 
logía evaluativa y su aplicación fue más allá de los programas eco- 
nómicos, ésta se centró principalmente en la evaluación de progra- 
mas educativos. La experiencia práctica y la abundante literatura 
sobre el tema, da cuenta de. ello. Sólo muy recientemente se han 
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intentado elaborar propuestas de evaluación, aplicables a programas 
de acción social y de servicios sociales. La obra que el lector tiene 
en sus manos es una de ellas. 

Este libro se ha escrito pensando en los profesionales y estudian- 
tes de las diferentes disciplinas de intervención social (trabajo social, 
servicios sociales, animación socio-cultural, etc.) que quieren y de- 
ben realizar evaluaciones sistemáticas, pero no han tenido una for- 
mación teórica-metodológica específica en el campo de la evaluación. 
Hemos pretendido realizar un libro didáctico y comprensivo, a la 
vez actualizado y riguroso, que sirva de ayuda —por sus referencias 
prácticas concretas— en la iniciación y realización de evaluaciones 
sistemáticas de los diferentes programas de intervención social. 

Fruto de la experiencia de ambos, el libro es parte de un trabajo 
más amplio que realizamos en el campo de los métodos de interven- 
ción social. Esta edición, que es una versión nueva y totalmente 
reelaborada de lo que hemos venido realizando desde 1981, tiene dos 
objetivos principales: 


e presentar los fundamentos metodológicos y los procedimien- 
tos operativos de la investigación evaluativa; 

O servir como material de apoyo para los cursos sobre evalua- 
ción que se solicitan a nuestro Instituto y que impartimos en 
varias universidades. 


Los autores, una de manera directa y otro de forma indirecta, 
nos hemos visto beneficiados en la elaboración de este libro y en la 
formulación de sus propuestas sobre investigación evaluativa, por los 
conocimientos, experiencia y nivel metodológico de uno de los prin- 
cipales expertos españoles en evaluación: el Profesor Francisco Al- 
vira Martín. A través de sus aportes sobre investigación evaluativa, 
nos hemos enriquecido de sus conocimientos y nos hemos podido 
introducir en la rica y amplísima experiencia que en materia de eva- 
luación se ha desarrollado en Estados Unidos. Gracias a la Escuela 
Regional de Salud Pública de Talavera de la Reina hemos tenido 
acceso a la experiencia canadiense y a numerosos trabajos de evalua- 
ción de programas de salud de diversos países y continentes. Y, por 
nosotros mismos estudiamos lo que se hizo en Francia y lo que se 
intentó y se realiza en América Latina, Obviamente, como en todos 
los casos similarés, ni F. Alvira, ni ninguno de los investigadores 
que, en una y otra medida, mos sirvieron de orientación, son res- 
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ponsables de la propuesta que hacemos, nì de los errores y deficien- 
cias de nuestro trabajo. f f 

Preocupados como estamos en desarrollar y mejorar los métodos 
de intervención social, y preocupados por ofrecer a quienes están en 
«là línea de fuego» en el trabajo con la gente un material de apoyo, 
práctico y operativo; este libro pretende ofrecer un texto que, man- 
teniendo el mayor rigor metodológico y conceptual, procura con un 
lenguaje accesible a los trabajadores sociales, que éstos tengan la 
comprensión necesaria para ir introduciendo elementos de evalua- 
ción en su propio quehacer profesional. 


MARÍA JOSÉ AGUILAR 
EZEQUIEL ANDER-EGG 


Albacete, 24 de junio de 1992 


Te 


pimi 


ce 


TETROR Raen 


En gran parte la evaluación de los programas de acción social ha sido 
irregular ý muchas veces se ha basado en las opiniones personales de 
sus defensores o detractores, en impresiones, anécdotas, referencias y 
otros datos. 

En los últimos años, sin embargo, se ha observado un cambio 
sorprendente en las actitudes con respecto a las actividades evaluati- 
vas y al tipo y calidad de las pruebas que se deben considerar válidas 
cuando se trata de determinar el éxito o fracaso relativo de un pro- 
grama de acción social. 

Dos características principales se observan en esta nueva actitud 
con respecto a la evaluación: 


e primera: hoy día se supone que todo programa racional de 
acción social ha de ir acompañado de un proceso de evaluación; 

e segunda: se observa una tendencia a exigir unas pruebas más 
sistemáticas, rigurosas y objetivas del éxito. 


-CHARLES R. WRIGHT 
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1. Una primera aproximación al concepto de evaluación: la 
evaluación en sentido lato y su diferenciación de otros 
conceptos similares. 


2. Acerca de la noción de evaluación en sentido estricto: lo 
que se ha dicho acerca del alcance y significado del tér- 
mino evaluación. 


3. Elementos para una definición de evaluación. 


4. Las pseudo-evaluaciones y las cuasi-evaluaciones. 


5. Tipos de evaluación: 


—Según el momento en que se evalúa. 
—Según la procedencia de los evaluadores. 
—Según la función de la evaluación. 
—Según los aspectos o naturaleza del objeto de OE 
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1. UNA PRIMERA APROXIMACIÓN AL CONCEPTO DE EVALUACIÓN: 
LA EVALUACIÓN EN SENTIDO LATO Y SU DIFERENCIACIÓN DE 
OTROS CONCEPTOS SIMILARES | 


A poco que examinemos las conversaciones de la gente común, nos 
encontramos con el uso bastante frecuente del término evaluación u 
otros similares. Y si, además, observamos las. prácticas cotidianas de 
esas mismas personas, veremos cómo las acciones evaluativas com- 
prenden un gran número de aspectos y se realizan con mucha 
frecuencia. 
Pero cuando decimos que la acción de evaluar forma -parte de la 
vida cotidiana: ¿a qué nos estamos refiriendo? l 

Para responder al interrogante formulado y como primera aproxi- 
mación al concepto de evaluación, queremos examinar de una forma” 
general, qué se entiende por evaluación. 

En cuanto intentamos precisar el concepto de evaluación y exami- | 
namos el empleo que se hace de él, constatamos que se trata de un | 
término elástico, ya que tiene usos diferentes y puede aplicarse a una | 
gama muy variada de actividades humanas. Si consideramos el térmi- l 
no evaluación en su acepción amplia, nos encontramos con definicio- 
nes como la de la Real Academia Española: evaluar es «señalar el valor 
de una cosa». Y si tomamos la definición genérica de uno de los 
principales autores en materia de investigación evaluativa —Scriven— 
encontramos que para él evaluar es un «proceso por el cual estimamos 
el mérito o el valor de algo». Así pues —y siempre como una primera l 
aproximación —, podemos decir que evaluar es una forma de estimar, | 
apreciar, calcular. En sentido lato, la palabra evaluación hace referen- l 
cia al término valor y supone un juicio acerca de algo. Dicho en otras 
palabras, la evaluación es un proceso orientado a emitir un juicio de 
valor. Se trata, pues, de un juicio en el que se hace una valoración o 
estimación de «algo» (objeto, situación o proceso), de acuerdo a 
determinados criterios de valor con que se emite dicho juicio. 


- 
ll E 
t 
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De acuerdo a esta primera. respuesta a la pregunta qué es la 
evaluación, en sentido amplio y general del término, podemos consta- 
tar que la evaluación, en cuanto a ponderación basada en valores, es 
una actividad que realizamos con bastante frecuencia, ya sea para 
valorar lo que hacemos o las decisiones que tomamos. Después de 
hacer algo, solemos valorar lo que hemos logrado y lo que no hemos 
hecho teniendo en cuenta nuestros propósitos iniciales. Aveces eva- 
luamos la- forma en que intentamos alcanzarlo y, en otras circunstan- 
cias, la evaluación la realizamos antes de producir o hacer algo, con el 
fin de valorar la conveniencia de hacerlo o no hacerlo, y, en caso de 
llevarlo a cabo, saber realizarlo de la mejor manera posible. 

Por de pronto, en esta forma de evaluar se advierte que la 
ponderación de las acciones y decisiones que tomamos en la vida 
cotidiana no se basan necesariamente en una información suficiente y 
adecuada, ni pretende medir con objetividad y con la mayor precisión 
posible lo que se está juzgando. Se trata, por tanto, de formas de 
evaluación informal como actividades que solemos realizar en nues- 
tro quehacer cotidiano. 

Pero cuando queremos evaluar servicios o actividades profesiona- 
les no basta la evaluación informal. Debemos recurrir a formas de 
evaluación sistemática, Este procedimiento merece una explicación 
más precisa, ya que es el tema céntral de este libro. En el parágrafo 
siguiente, para abordar esta cuestión, propondremos una definición 
de evaluación (entendida como evaluación sistemática o investigación 
evaluativa). Ahora, y para finalizar esta primera aproximación al 
alcance y significado del término evaluación, vamos a realizar otro 
tipo de precisiones, habida cuenta de que existen otros términos que a 
veces se emplean de manera intercambiable con el de evaluación. 
Veámoslo. 


Diferenciación del concepto de evaluación de otros 
términos similares: medición, estimación, 
seguimiento, control y programación 


Un punto de partida bastante útil a los propósitos de este capítulo 
podría ser el distinguir la evaluación de otros términos similares pero 
que tienen alcances diferentes, tales como medición, estimación, 
seguimiento, control y programación. 

Si bien el concepto de evaluación está muy ligado a la idea de 
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medición, no se trata de lo mismo. La medición es el acto o proceso 
de «determinar la extensión y/o cuantificación de alguna cosa»; la 
evaluación, en cambio, hace referencia al «acto o proceso de determi- 
nar el valor de esa cosa». La medición facilita cierto tipo de:informa- 
ción, la evaluación implica valorar la información a fin de emitir un 
juicio sobre el objeto evaluado. Podemos medir sin válorar, y'a la 
inversa, podemos valorar algo sin medirlo. Sin embargo, debemos 
tener en cuenta que, en muchos casos, la medición ayuda a la tarea de 
evaluar. El hecho de que para realizar una evaluación sistemática sea 
necesario —o por lo menos útil— medir ciertos aspectos o dimensio- 
nes-del objero a evaluar, hace que muchas veces se confundan ambos 
términos * 

Hemos de distinguir, también, la evaluación de la estimación, 
aunque en algunos diccionarios especializados ? se considéran sinóni- 
mos. Mientras la evaluación involucra o pretende la mayor objetivi- 
dad y precisión posible, la estimación tiene un carácter aproximado 
(aprecio y valor que se atribuye a una cosa) que, con frecuencia, está 
cargado de subjetividad. 

Si bien las definiciones de evaluación y estimación son muy 
parecidas, en la práctica se emplean de modo distinto. De manera tal 
que, cuando se trata de enjuiciar algo sistemáticamente o aplicando los 
conocimientos y reglas del método científico, nos encontramos frente 
a una evaluación; y cuando se trata de un enjuiciamiento cuyos 
criterios son difusos, subjetivos y/o no se, basan en procedimientos 
más O menos rigurosos, se trataría de una estimación. Las diferencias 
entre uno y otro concepto radican, principalmente, en el hecho de que 
una evaluación sistemática debe reunir ciertos requisitos metódicos, 
científicos y técnicos, y la estimación no. En el capítulo siguiente 
explicaremos cuáles son algunos de esos requisitos y quedará más 
claro cuál es la diferencia entre evaluación y estimación. 

Otro concepto muy cercano al de evaluación es el de 
seguimiento * que, de algún modo, es una' forma de evaluar logros 


Y Por el momento no profundizaremos más en él concepto de medición y su 
relación con el de evaluación, ya que lo relarivo a ello o los aspectos de medición 
aplicados a la investigación “evaluativa los abordaremos en este libro, en la parte 
destinada a las cuestiones metodológicas del proceso de evaluación. 

2 G. de Landsheere, Dictionnaire de P'évaluation et de la. recherche en education, 
París, PUF, 1979. 

3 En algunas instituciones de América Latina se utiliza el término «monitoreo» en 
lugar de «seguimiento», ya que traducen literalmente el término del inglés monitoring. 
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pero en sentido estricto no. es evaluación. El seguimiento es un 
proceso analítico que, mediante un conjunto de actividades, permite 
registrar, recopilar, medir, procesar y -analizar una serie de informa- 
ciones que revelan la marcha o desarrollo de una actividad programa- 
da. Es una forma de examen continuo y periódico, requerido por una 
unidad administrativa con el propósito de asegurar el cumplimiento 
del calendario de trabajo y la entrega de insumos en el -momento 
oportuno (bienes, fondos, servicios, mano de obra, tecnología y otros 
recursos). Todo ello. orientado a asegurar el logro de los objetivos 
previstos'en el programa. 

_ De lo expuesto puede inférirse claramente que, mientras el segui- 
miento tiene como objetivo lograr la consecución de las metas de un 
programa, la evaluación pretende enjuiciar esos logros y su nivel de 
obtención, así como los resultados obtenidos como consecuencia de 
dicho programa. 

Si seguimos profundizando en el concepto de seguimiento, po- 
dríamos afirmar que su finalidad es lograr la «ejecución eficiente y 
efectiva de un proyecto» mediante una información retroalimentada 
que permite modificar y reorientar permanentemente los aspectos 
operativos del programa, de acuerdo a los objetivos considerados en 
el diseño. Desde el punto de vista administrativo, el seguimiento es 
parte de la función gerencial que debe realizarse rutinaria o periódica- 
mente para la adecuada operación de un proyecto o la prestación de 
un servicio. De ordinario, el seguimiento se considera una «unidad de 
apoyo/asesoramiento» para realizar dos tipos de tareas principales: 
«Diseñar y organizar un flujo regular de datos e información signifi- 
cativos, desde el punto de vista cuantitativo y cualitativo, y analizar la 
información reunida para verificar si el proyecto se está realizando de 
acuerdo a los planes, si surgen retrasos o restricciones que exijan una 
solución inmediata, o si aparecen imprevistos que impongan la revi- 
sión de los objetivos, supuestos, estrategias y procedimientos de 
ejecución del proyecto» *. 

Podemos decir que el seguimiento puede contribuir y ayudar en la 
tarea de evaluar, ya que proporciona un sistema de información acerca 


Sin embargo, el uso de la palabra seguimiento es mucho más generalizado, además de 
nọ tener connotaciones tan directivas como monitoreo. En España se emplea el tér- 
mino seguimiento y sólo muy. recientementé se ha introducido la expresión «moni- 
torización» en algunos textos especializados, 

* Naciones Unidas, Seguimiento y evaluación. Pautas básicas. para. el desarrollo 
rural, Grupo de trabajo del cac, Roma, 1984. 
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del objeto evaluado. Sin embargo, puede hacerse una evaluación sin 
que haya existido un seguimiento del programa, y viceversa: puede 
existir seguimiento de un programa o proyecto sin que ello implique 
necesariamente que se haga una evaluación sistemática de dicha 
intervención. 

Conviene diferenciar también la evaluación del control, ya: que 
son-términos parecidos, pèro de naturaleza muy diferente. El control 
es una verificación de resultados, mientras que la evaluación es una 
ponderación o enjuiciamiento de esos resultados. Una cosa es consta- 
tar lo que pasa (control) y otra juzgar por qué pasa lo que pasa 
(evaluación), ya se trate de actividades, recursos o resultados *. Cuan- 
do se habla de control operacional, a veces la expresión se utiliza 
como equivalente a evaluación continua. En sentido estricto no se 
trata de la misma cuestión, aunque ambos tengan como propósito 
fundamental ayudar a la eficacia de un proceso, mediante procedi- 
mientós que permiten tomar medidas apropiadas para controlar la 
ejecución de los planes. La diferencia fundamental, por tanto, entre 
evaluación y control, radica en el hecho que el control es una 
verificación de algo, y la evaluación es un juicio acerca de ese algo 
(aunque previamente tenga que haber sido verificado). 

Por último, y aunque no se trata de un término similar, creemos 
oportuno detenernos un momento en comparar también la evaluación 
con la programación *. En este intento de clarificación y diferen- 
ciación, podemos decir que: 


5 G. James, «Evaluating in Public Health Practice», en H, C. Shulberg, A. Sheldon 
y F. Baker, (comps.) Program Evaluation in the Health Fields, Nueva York, Behavioral 
Publication, 1969; F. Champagne, et al., «Cadre conceptuel à Pévaluation des program- 
mes de santé», en Rev.. Epidemiologie et Santé Publique, vol. 33, 1985? 

$ Si bien para muchos metodólogos la distinción entre diagnóstico, programación, 
ejecución y evaluación es clara, en el campo de los «especializados» sólo en alguna de 
estas fases (como es el caso de los planificadores y evaluadores) existe.la idea y la 
práctica de que la programación incluye las cuatro fases de la «estructura básica de 
procedimiento», o que la evaluación comprende, asimismo, esos cuatro momentos. De 
modo tal, que, o bien «todo es programar», o «todo es evaluar». Este error metodológi- 
co y conceptual, se debe —entre otras causas— tanto al corporatismo profesional como 
al desconocimiento de todo lo que «queda fuera» de la propia especialidad profesional. 
De ahí que se hable de «evaluación de necesidades» previa a la programación, cuando'en 
realidad, y en sentido estricto, la «evaluación de necesidades» es sólo un aspecto, entre 
varios, de los que comprende un diagnóstico. En este caso, la confusión se desprende 
del hecho que tanto en el diagnóstico como en la evaluación se emiten juicios. Pero ello 
no justifica las imprecisiones que se cometen en este terreno, sobre todo, por la 
confusión que acarrean entre estudiantes y profesionales «de terreno», que sólo 
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9 si programar es introducir organización y racionalidad en la 
acción, para el logro de determinadas metas y objetivos. 

e evaluar es una forma de verificar y enjuiciar esa racionalidad, 
midiendo el cumplimiento de los objetivos y metas previamente 
establecidos y la capacidad de alcanzarlos. 


Ya hemos hecho referencia al concepto de evaluación en sentido 
lato o evaluación informal, intentando —además— diferenciar la 
evaluación de otros conceptos similares. Ahora nos interesa —como 
aspecto sustantivo de este libro— delimitar el significado y alcance del 
concepto de evaluación sistemática, tal como nosotros lo utilizaremos 
en este trabajo. i 


2. ACERCA DE LA NOCIÓN DE EVALUACIÓN EN SENTIDO ESTRICTO 


Ya aludimos en el parágrafo anterior al concepto de evaluación en 
sentido lato. Como dijimos, se trata de una actividad, entre otras, que 
realizamos cotidianamente y en circunstancias especiales. Pero en ella 
no recurrimos a ningún procedimiento sistemático. Se emite un juicio 
sobre algo, pero sin considerar ni preocuparse de manera explícita por 
el fundamento de ese juicio. 

Sin embargo, cuando en las ciencias sociales y en las diferentes 
modalidades de intervención social se habla de evaluación, se alude 
—dicho como un primer intento de aproximación— a una forma de 
valoración sistemática que se basa en el uso de procedimientos que, 
apoyados en el uso del método científico, sirve para identificar, 
obtener y proporcionar la información pertinente y enjuiciar el 
mérito y el valor de algo, de-manera justificable. Para decirlo en breve: 
entre la evaluación en sentido lato (o evaluación informal) y la 
evaluación en sentido estricto (o evaluación sistemática), no hay una 
diferencia de propósitos, sino de métodos. 

De esta primera, preliminar y provisional aproximación a la 
noción de evaluación sistemática, surgen dos de sus notas esenciales: 


aumentan esa confusión cuando estudian a distintos autores sobre un mismio tema: no 
ya por la diferencia de perspectivas (lo cual es saludable y recomendable para el avance 
de la ciencia y la tecnología), sino por la imprecisión terminológica. 
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e Cuando se habla de evaluación en sentido estricto, siempre se 
hace referencia a la investigación evaluativa. 

e La investigación evaluativa no tiene métodos y técnicas que le 
son propios; son los mismos que se utilizan en la investigación 
social. 


Existen otras notas fundamentales que irán surgiendo a medida 
que avancemos en nuestro análisis... A partir de su atepción más 
amplia (señalar el valor de una cosa), diremos con Suchman ” que una 
precondición de cualquier estudio evaluativo es la presencia de alguna 
actividad cuyos objetivos tengan algún tipo de valor. Sería un desatino 
evaluar actividades que no.se consideran importantes u objetivos que 
tienen escasa significación. 

Por nuestra parte, creemos que puede ser útil a esta tarea de 
construir una definición de evaluación, tener en cuenta algunas de las 
definiciones más significativas que se han realizado del concepto de 
evaluación. Examinar los aportes de diversos autores puede ayudar- 
nos mucho en este intento de aproximarnos con la mayor precisión 
posible a la noción y caracterización de la evaluación sistemática. 


Lo que se ha dicho acerca del alcance y significado 
del término evaluación 


Hemos seleccionado algo más de una veintena de definiciones, aten- 
diendo a distintas épocas históricas, países y perspectivas teóricas, de 
modo tal que, a partir de ellas, podamos realizar una caracterización 
exhaustiva de la evaluación, e intentar una definición más precisa y 
completa que la realizada anteriormente. Queremos, además, que el 
lector tenga una información más o menos amplia del alcance con que 
se utiliza este término y pueda tener elementos para una comparación 
crítica frente al alcance con que nosotros lo utilizamos en este libro. 

Como primeras aproximaciones, y en la tónica de aspectos ya 
mencionados, tenemos las definiciones provenientes de los profesio- 
nales de la salud: Champagne * y James ? consideran que la meta de 


7 E. A. Suchman, Evaluative Research: Principles and Practice Public Service and 
Social Action Programs, Nueva York, Russell Sage Foundation, 1967. 
$ F..Champagne, et al., ob. cit. 
2 G. James, ob. cit. 


10 M. José Aguilar y Ezequiel Ander-Egg 


la evaluación de programas es realizar un juicio sobre una actividad, 
un recurso o un resultado. De esta definición se derivarán —de 
acuerdo a estos autores—, tres tipos de evaluación (de estructura, 
proceso e impacto) que examinaremos más adelante. En la misma 
línea que los anteriores se expresa Donabedian *, al indicar que la 
función primera de la evaluación es la de determinar el valor o el 
grado de éxito en la consecución de un objetivo determinado. 

Si consideramos la definición de Tyler, que aunque de vieja data, 
expresa el pensamiento del más importante precursor o «padre» de la 
investigación evaluativa, nos encontramos que la evaluación es «el 
proceso que tiene por objetivo determinar en qué medida se han 
logrado unos objetivos previamente establecidos» '!, En esta misma 
línea, encontramos definiciones más recientes: Kaufman y English *? 
consideran que la evaluación consiste en analizar las discrepancias 
entre lo que es y lo que debe ser; o dicho en otras palabras, la 
disparidad entre una situación deseada o esperada y otra existente o 
real. Si aplicamos está definición a un programa social, podemos 
suponer que el sentido de dicha intervención social está en avanzar 
hacia una situación deseada, y por tanto, el programa debe compren- 
der actividades de cierto valor (Suchman). Por ello, una definición 
como la que nos ofrece Ruthman, nos parece más adecuada. Para este 
autor, la investigación evaluativa es «el proceso de aplicar procedi- 
mientos científicos para acumular evidencia válida y fiable sobre la 
manera y grado en-que un conjunto de actividades específicas produce 
resultados o efectos concretos» *, 

La evaluación, entendida como forma de comprobación de .los 
objetivos propuestos, es bastante generalizada en el campo educativo, 
a pesar de que en el ámbito de la acción social se consideraría esta 
acepción demasiado limitada. Así, por ejemplo, Grondlund define la 
evaluación pedagógica como el «proceso sistemático queriendo deter- 
minar en qué medida unos objetivos educativos son alcanzados por 
los alumnos» **, La Unesco, en el Glosario de términos de tecnología. 


i 19 A. Donabedian, «Evaluating the Quality of Medical Care», en Milbank Memo- 

rial Fund Quarterly, vol. 44, 1966. 

1 R, W. Tyler, «General Statement on Evaluation», en Journal of Educational 
Research, núm. 3, 1942. 

12 R. Kaufman y F. W. English, Needs Assessment. Concept and Aplication, 
Englewood Cliffs, Educational Technology Pub., 1979. 

i L. Ruthman, Evaluation Research Methods: a Basic Guide, Londres, Sage, 1977. 

Grondlund, citado sin referencias en G. De Landsheere, ob. cit. 
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de la educación, ofrece tres acepciones distintas de evaluación: «1. 
Término genérico para designar el conjunto de operaciones de apre- 
ciación, de control y de medición de un resultado, de una estrategia, 
de un sistema, de una persona, etc.». (Aquí podemos observar cómo 
se elude la noción de juicio o de valor.) «2. Proceso tendente a 
delimitar, obtener y reunir la información útil para juzgar alternativas 
de decisión, controlar la eficacia de la ejecución de una actividad y 
juzgar su interés. 3. Proceso de cuantificación O de calificación del 
rendimiento de un individuo, grupo, dispositivo o material». Las 
diferencias existentes entre estas tres acepciones son lógicas, ya que se 
trata de un organismo internacional, cuyas definiciones tienen conse- 
cuencias prácticas en contextos y situaciones reales muy distintas y 
debe conciliar intereses no siempre complementarios. 

En el campo del trabajo social o el desarrollo comunitario, nos 
encontramos con definiciones que contienen un fuerte elemento 
práctico de cara a la solución de problemas: la evaluación es el 
«análisis de los efectos y las consecuencias de los diferentes modos de 
actuación sobre uña situación, para definir en un plazo cuáles son los 
más productivos de soluciones» 15, La evaluación, por tanto, en el 
campo de las tecnologías socialés se entiende como un mecanismo de 
regulación de acciones y políticas sociales, que puede permitir dismi- 
nuir notablemente las posibilidades de fracaso que tiene un programa 
de interés social **, Es decir, «la evaluación sólo será útil si'se utiliza 
como medio para mejorár un programa. Es necesario conocer las 
cualidades y las debilidades de un programa para poder modificarlo 
según vaya siendo preciso. Un buen programa requiere de un diag- 
nóstico y una evaluación permanente para eliminar los errores y 
corregirlos» "?. 

Estas definiciones precedentes nos ponen de manifiesto la utilidad 
de la evaluación, como medio para corregir errores y poder modificar 
cursos de acción. Dicho en otras palabras, la evaluación sólo tiene 
sentido en la medida que sirve para tomar decisiones concretas. Así se 
expresan autores tan reconotidos como Stufflebeam o Cronbach: «la 
evaluación es el estudio sistemático, planificado, dirigido y realizado 


15 J, M. Dutrenit, «Evaluation du travail social. Aide á lá Mutation», en Revue 
Rencontre, núm. 51, 1984. 

16 M. Marette, (dir.), Guide du developpment local, París, Syros, 1980. R. Rezsoha- 
zy, El desarrollo comunitario, Madrid, Narcea, 1988. 

17 R, Natarajan, «Adult Education Program: Methodology for Evaluation», en 
Indian Journal of Adult Education, mayo de 1983. 
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con el fin de ayudar a un grupo de clientes a Juzgar y/o perfeccionar el 
valor y/o el mérito de algún objeto» '3. O bien, «proceso sistemático 
de recogida y valoración de información útil para una eventual toma 
de decisiones» '?. En esta última cita de Cronbach encontramos una 
importante consideración: de toda la información posible, sólo hay 
que recoger la que es relevante para tomar una decisión. El énfasis de 
la evaluación, por tanto, lo pone en la utilidad para la toma de 
decisiones y no tanto en los procedimientos de recogida de dicha 
información. En la misma línea se expresan algunos pedagogos al 
afirmar que la evaluación tiene sentido si está encaminada a tomar las 
decisiones necesarias para una mejor aplicación de los objetivos del 
programa que se esté realizando 2, 

Scriven, por su parte, define la evaluación como una actividad 
metodológica que «consiste simplemente en la recopilación y combi- 
nación de datos de trabajo mediante la definición de unas metas que 
proporcionen escalas comparativas o numéricas, con el fin de justifi- 
car 1. los instrumentos de recopilación de datos, 2. las valoraciones 
3. la selección de las metas» ?*. Además, diferencia la evaluación pad 
actividad metodológica, de la evaluación en un contexto particular. 
En el primer caso, la define como el «proceso por el cual estimamos el 
mérito o.el valor» de algo. En el segundo, señala que las funciones de 
la evaluación son muy variadas y «se relacionan con el uso que se hace 
de la información que se recoge, es decir, con el tipo de decisión a la 
que sirve». 

Uno de los aportes más interesantes de este autor es la distinción 
que realiza entre mérito y valor, y la importancia de su diferenciación 
Así, el valor de una acción viene dado por el grado de necesidad que 
existe de hacerla. Dicho de otra forma, cuanto más necesario es hacer 
algo, más valor tiene. El mérito, en cambio, tiene que ver con la buena 
realización de algo, independientemente del valor que tenga. Una 
acción es meritoria, cuando hace bien y con eficiencia aquello que se 
propone. De ahí que puedan existir servicios y prograinas meritorios 


18 D, L. Stufflebeam y A. J. Shinkfield, Evaluación si áti 7 7 
Ea t - J- s te a ó; 
prácica no de ción sistemática. Guía teórica y 
J. L. Cronbach, Designing evaluations of educational and soci 7 
aai: e gning l y a é social programs, 
i A Jossey-Bass series in Social and Behavioral Science and Higuer Educa- 
5 G. de Landsheere, ob. cit. 
M. Scriven, «The Methodology of Evaluation: P ii rriculum 
Evaluation, Chicago, Rand MeNally, 1967. E 
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pero sin valor. Lo que no puede haber es servicios y programas 
válidos sin que —además— sean meritorios. 

Scriven, al establecer esta distinción, facilita algunos aspectos del 
trabajo de evaluación, encaminado a establecer y aplicar criterios de 
enjuiciamiento. Por tanto, en la tarea de evaluar, hay que señalar 
criterios y normas que permitan establecer tanto el mérito como el 
valor del objeto evaluado. 

Suchman, agrega —además— una nota de realismo y humildad, en 
cuanto a las posibilidades de la investigación evaluativa, al definirla 
como un «conjunto de procedimientos para la recogida y análisis de 
datos que aumentan la posibilidad de “probar”, más que de “afir- 
mar”, el valor de una actividad social» 2. 

Hasta ahora hemos recopilado y examinado superficialmente al- 
gunas definiciones de evaluación. Sin embargo, no queremos pasar 
por alto las relativas a autores latinos, ya que si bien en estos países no 
abundan especialistas que hayan escrito sobre el tema, el hecho de que 
este libro forme parte de ese capítulo geográfico justifica por sí solo 
nuestro detenimiento en autores tales como Alvira, Caride, Espinoza 
Vergara, Cabrera y otros. 

Hayes (autor de uno de los primeros libros traducidos al castella- 
no sobre evaluación) señala: «la evaluación es, primero y necesaria- 
mente, una colección de conceptos y prácticas que han demostrado su 
utilidad (en el campo de las Ciencias Sociales) y que se aplican de 
modo tal que pueden contribuir al perfeccionamiento de las activida- 
des prácticas» 9, . 

Ya en la década de los ochenta, donde la evaluación de programas 
sociales comienza a ser una preocupación en España, merece la pena 
destacar dos aportes importantes que provienen del campo pedagógi- 
co (Caride y Cabrera) y otro de la sociología (Alvira). En general, 
podemos decir que, en España, en la década de los ochenta, existe un 
consenso generalizado sobre la caracterización de la evaluación, como 
los esfuerzos de estimación de los cambios debidos a programas o 
proyectos. En orden cronológico, podemos citar, en primer término, 
algunas consideraciones respecto a la evaluación por parte de .F. 
Alvira 2*, Para este autor, evaluar «es simplemente la acumulación de 


22 E. A. Suchman, ob. cit. i 
23 5, P. Hayes, Evaluación de proyectos de desarrollo, Madrid, FOESSA, Euramé- 


rica, 1969. . , 
2 F, Alvira, «La investigación evaluativa: una perspectiva experimentalista», en 
Revista Española de Investigaciones Sociológicas, núm. 29, 1985. 
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información sobre una intervención —programa—, sobre su funcio- 
namiento y sobre sus efectos y consecuencias». De este modo, con la 
evaluación se pretende dar, en todo momento, idea de la situación 
aproximada del proyecto-programa respecto de la situación inicial, 
secuencial y prevista, tratando de expresar cuantitativa y cualitativa- 
mente lo que está hecho y lo que queda por hacer: Dejando a un lado 
las imprecisiones y confusiones respecto 2 programa, proyecto e 
intervención social (que para el autor son la misina cosa, cuando 
metodológica y técnicamente no lo son), encontramos reflejados en 
esta definición, algunos de los principales aportes de la investigación 
evaluativa norteamericana ?5 y la introducción de las categorías cuan- 
titativo/cualitativo, en un intento de superar la dicotomía existente 


entre ambos paradigmas de la investigación en ciencias sociales. 


Caride Gómez, a fines de los ocherita, 


y retomando los aportes 
de Alvira, 


define la evaluación —entendida en cuanto fase o mo- 
mento integrante de la estructura básica de procedimiento (evalua- 
ción de la intervención) — como el «análisis e interpretación valora- 
tiva de los resultados y logros del programa y sus correspondientes 


procesos». Y, agregando mayor precisión en otra parte del mismo 
trabajo, señala: «La evaluación de programas consiste en: 


— Un proceso de reflexión y valoración crítica, continua y siste- 
mática; 


— referida a momentos y factores que intervienen en el desarrollo 
de un programa; 


— al objeto de determinar cuáles pueden ser, están siendo o han 
sido sus efectos, resultados o logros» 2%, 


Y por último, para terminar estas referencias españolas, no quere- 
mos dejar de mencionar el aporte de Flor-Ángeles Cabrera, que 
retoma la tradición de Cronbach y Scriven y define la evaluación como 
el «proceso de recogida y análisis de información relevante en que 


75 No debemos olvidar que Alvira, especialista en métodos y técnicas de investiga- 
ción social, se adentra en el campo de la investigación evaluariva y publica su primer 


artículo referido a ella en 1985 realizando en 1988 una estadía en la North Western 
University. 


2 J. A, Caride Gómez, Diseño y evaluación de programas sociales. 1 Congreso de 
Animación Sociocomunitaria, Sala 


manca, 1989 (fotocopiado). 
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apoyar un juicio de valor sobre la entidad evaluada que sirva de base 
para una eventual toma de decisiones» 
Siguiendo con las aportaciones latinas, en lo referente a autores 
latinoamericanos, debemos destacar a Espinoza Vergara , que en 
1980 publica, no el primero, pero sí el más sistemático de los libros 
dedicados a la evaluación de proyectos sociales que hasta ese año se 
habían editado ?. A continuación aparece una obra monográfica 
sobre evaluación de E. Ander-Egg *. Si bien este autor había escrito 
sobre evaluación de programas sociales con anterioridad , fue en 
1985 cuando aparece su primer libro dedicado exclusivamente al tema 
de la evaluación de programas de trabajo social. La aportación de G. 
Briones también es significativa, y su modelo de «evaluación interacti- 
va» —si bien poco sistemático— no deja de tener validez y constituir 
una contribución creativa y participativa al campo de la investigación 
evaluativa. Siguiendo al autor, «la evaluación interactiva es E proceso 
de investigación participativa que analiza la organización, el ae 
miento y desarrollo de un programa en relación con sus peral as 
expectativas de sus participantes y los resultados obteni: poe > 
trabajo más reciente ha sido el de E. Cohen y R. Franco *, los cuales 
retoman el concepto de evaluación formulado por Franco ai 
en el sentido que «evaluar es fijar el valor dẹ una cosa; para hacer- 
lo se requiere efectuar un procedimiento mediante el cual . 


7 


27 E. A. Cabrera, «La investigación ~ ` 
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Largo Caballero, 1987. S 
28 M. Espinoza Ver o pr 
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para aquello a evaluar respecto de un criterio o patrón determi- 
nado» %. 

Como el objetivo de este parágrafo no es brindar todas las 
definiciones hechas de evaluación, sino ofrecer algunas, a partir de las 
cuales podamos caracterizar con precisión la investigación evaluati- 
va, vamos a examinar a continuación algunas definiciones de orga- 
nismos internacionales, para terminar con las que —a nuestro jui- 
cio— son algunas de las más completas y que pertenecen a distintos 
autores. 

Del sistema de organismos de las Naciones Unidas, la definición 
de evaluación más generalizada es la que formula la Unesco en 1979 35 
y que se modifica muy poco para su versión final en el documento 
del CAC (1984). Es ésta: «la evaluación es el proceso encaminado a 
determinar sistemática y objetivamente la pertinencia, eficiencia, efi- 
cacia e impacto de todas las'actividades a la luz de sus objetivos. Se 
trata de un proceso organizativo para mejorar las actividades que se 
hallan aún en marcha y ayudar a la administración en la planifica- 
ción, programación y decisiones futuras» *, Mod 

Antes; en 1981, la OMS hizo la siguiente definición —aplicada al 
campo de la salud—: «la evaluación es un medio sistemático de 
aprender empíricamente y de utilizar las lecciones aprendidas para el 
mejoramiento de las actividades en curso y para el fomento de una 
planificación más satisfactoria mediante una selección rigurosa entre 
las distintas posibilidades de acción futura. Debe ser, pues, un proceso 
permanente encaminado a aumentar la pertinencia, la eficiencia y la 
eficacia de las actividades de salud» ”. 

La FAO, en 1984, realiza una definición específica de su campo a 
partir de las formulaciones generales del CAC, indicando que «la 
evaluación es un análisis crítico de las realizaciones y resultados de un 
proyecto en relación con los objetivos previstos, los supuestos y 
estrategia fundamentales, y la asignación de recursos» ?. 

Teniendo en cuenta todas las definiciones, consideraciones y 
comentarios precedentes, creemos necesario destacar por su preci- 
sión, utilidad y amplitud, las aportaciones del comité PDK y concreta- 


3 R. Franco, Algunas reflexiones sobre la evaluación del desarrollo, Santiago de 
Chile, ¡LPES, 1971. 

35 Unesco, Evaluation Terms: Unesco Glossary, París, BEP-79/WS/, 1979. 

3% Naciones Unidas, ob. cit. 

7 oms, Evaluación de los programas de salud, Ginebra, 1981. 

3% FAO; Pautas para la evaluación de proyectos de cooperación técnica, Roma, 1984. 
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mente su formulación del «modelo CIPP» de evaluación 3? la de 
Pineault y Daveluy *; y las de Weiss *. 


La evaluación es el proceso de identificar, obtener y proporcionar 
información útil y descriptiva acerca del valor y el mérito de las metas, 
la planificación, la realización y el impacto de un objeto determinado, 
con el fin de servir de guía para la toma de decisiones, solucionar los 
problemas de :responsabilidad y promover la comprensión de los 
fenómenos implicados. 

D. L. STUFFLEBEAM, et al. 


La evaluación es un proceso que consiste en determinar “y en aplicar 
criterios y normas con el fin de realizar un juicio sobre los diferentes 
componentes del programa, tanto en el estadio de su concepción, como 
de su ejecución, así como sobre las etapas del proceso de planificación 
que son previas a la programación. 

R. PINEAULT y C. DAVELUY 


La evaluación analiza la relación programa/necesidad social, midiendo 
el grado, y si es posible, la profundidad, en que sus fines son logrados, 
y por lo tanto, las necesidades cubiertas, o los problemas solucionados. 

E C.H. WEISS 


La investigación en evaluación es una empresa racional, que examina 
los efectos de las políticas («policies») y los programas de sus 
poblaciones-objetò («targets») (individuos, grupos, instituciones, co- 
munidades) en términos de los fines que intentan alcanzar. Por méto- 
dos objetivos y sistemáticos, la evaluación mide la extensión con la que 
dichos fines son alcanzados y observa los factores asociados con el 
éxito o el fracaso de sus resultados. Se supone que aportando «hechios», 
la evaluación ayuda a la toma de decisiones para la elección inteligente 
entre cursos de acción. Los datos precisos y no sesgados sobre las 
consecuencias de los programas mejorarán dicha toma de decisiones. 

C. H. Weiss 


2 D. L. Stufflebeam et al., Educational Evaluation and Decision Making, laca, 
Illinois, Peacock, 1971. 

$ R: Pineault y C. Daveluy, La planificación sanitaria. Conceptos, métodos, 
estrategias, Barcelona, Masson, 1987. 3 

41 C. H. Weiss, Investigación evaluativa, México, Trillas, 1970, «Evaluation 
Research in the Political Context en E. L. Struening y M. B. Brewer (comps.), Hand 
book on Evaluation Research, Londres, Sage, 1980. 


18 M.* José Aguilar y Ezequiel Ander-Egg 


3. ELEMENTOS PARA UNA DEFINICIÓN DE EVALUACIÓN 


Apoyados en las consideraciones precedentes, queremos intentar una 
definición de evaluación, que recoja sus principales rasgos caracterís- 
ticos, en cuanto proceso sistemático de valoración o enjuiciamiento. 


La evaluación es una forma de investigación social apli- 
cada, sistemática, planificada y dirigida; encaminada 2 
identificar, obtener y proporcionar de manera válida 
y fiable, datos e información suficiente y relevante, en 
que apoyar un juicio acerca del mérito y el valor de 
los diferentes componentes de un programa (tanto en 
la fase de diagnóstico, programación o ejecución), o de 
un conjunto de actividades específicas que se realizan, 
han realizado o realizarán, con el propósito de produ- 
cir'efectos y resultados concretos; comprobando la ex- 
tensión y el grado en que dichos logros se han dado, 
de forma tal, que sirva de base o guía para una toma 
de decisiones racional e inteligente entre cursos de ac- 
ción, o para solucionar problemas y promover el co- 
nocimiento y la comprensión de los factores asociados 
al éxito o al fracaso de sus resultados. 


Veamos, a continuación, las características más relevantes de la 
evaluación, a partir de la definición operativa que acabamos de 
realizar: 


Es una forma de investigación social aplicada... 


En cuanto investigación social, la evaluación consiste en aplicar el 
método científico: al conocimiento de un aspecto de la realidad. Y en 
cuanto investigación aplicada, se trata de aplicar el método cientí- 
fico para valorar la aplicación de estrategias cognitivas en la adqui- 
sición de conocimientos o de estrategias de acción de cara. a lograr 
determinados propósitos. Dicho en otras palabras: no es un conocer 
para actuar (como es la investigación aplicada), sino un conocer para 
mejorar las formas de actuar. 
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Sistemática, planificada y dirigida... 


Porque utiliza procedimientos basados en los requerimientos y exigen- 
cias del método científico. Se trata de estudiar de manera consciente, 
organizada y con una intencionalidad expresa un aspecto de la 
realidad. Este estudio no consiste en un conjunto de recetas, sino en 
establecer una estrategia dentro de un proceso que tiene una clara 
direccionalidad y para cuya consecución se establecen por anticipado 
los cursos de acción más racionales. 


Encaminada a identificar, obtener y proporcionar 
de manera válida y fiable... 


La evaluación es el proceso de enjuiciar algo, y para ello es necesario 
conocer primero ese objeto a evaluar. De ahí, que el proceso de 
evaluación implique y conlleve tareas de identificación de informa- 
ción (qué se va a evaluar), de obtención de dicha información (me- 
diante técnicas de investigación social) y de difusión de la misma a los 
actores sociales interesados o a los responsables que han solicitado el 
estudio evaluativo. 

Pero esta tarea de recogida y sistematización de datos no puede 
hacerse de cualquier forma. Es necesario que los procedimientos 
utilizados cumplan ciertos requisitos de fiabilidad y validez, a fin de 
que los resultados de la evaluación sean justificables y lo más objeti- 
vos y precisos posible. 


Datos e información suficiente y relevante 
en que apoyar un juicio... 


Evaluar es siempre «señalar el valor de una cosa», o lo que es lo 
mismo, es emitir un juicio de valor. No se trata de ponderar o 
enjuiciar algo con criterios subjetivos, de ahí que los resultados y 
juicios o valoraciones realizadas deban apoyarse en datos e informa- 
ción pertinente. La pertinencia de dicha información viene dada por 
su relevancia, es decir, por la relación que guarda con las decisiones a 
las que pretende servir la evaluación. Y por su suficiencia, esto es: la 
información no debe ser ni excesiva (estudiar hechos innecesarios o 
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poco significativos) ni insuficiente (lo que impediría establecer un 
juicio adecuadamente fundamentado). 


Acerca del mérito y el valor... 


Ya hemos aclarado en el parágrafo anterior la diferencia que existe 
entre el mérito y el valor de una acción, de manera tal que puede 
haber un programa meritorio sin valor, si bien toda actividad que 
tenga un valor debe ser —además— meritoria. Con la evaluación de 
un programa se pretende establecer y juzgar tanto el mérito como 
el valor del mismo. 


De los diferentes componentes de un programa (tanto 
en la fase de diagnóstico, programación o ejecución)... 


Hacemos esta aclaración porque muchas veces se identifica la tarea de 
evaluar con una acción a posteriori de algo ocurrido. Nada más falso. 
La evaluación de programas sociales puede realizarse tanto en el 
diagnóstico (la evaluación de necesidades, por ejemplo, o la jerarqui- 
zación de problemas), como en la fase de programación (es el caso de 
las evaluaciones ex-ante ó evaluaciones del diseño de un proyecto) y 
en la ejecución (evaluación en curso, continua, etc.). Además, la 
evaluación también puede hacerse una vez que el programa o el 
proyecto han finalizado (evaluación de impacto). Por lo tanto, si bien 
la evaluación, como fase de la estructura básica de procedimiento, 
ocupa un lugar posterior a la programación y ejecución en la mayoría 
de las ocasiones, se trata de un elemento a considerar en las distintas 
etapas, siempre que haya que realizar un juicio o valoración de algún 
aspecto o componente del programa a ejecutar, apoyado en infor- 
mación recogida sistemáticamente. 


O de un conjunto de actividades específicas que se 
realizan, han realizado o realizarán, con el propósito 
de producir efectos y resultados concretos 


No es imprescindible la existencia de un programa o de un proyecto 
para realizar la evaluación. La existencia de un conjunto de activida- 
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des específicas que se organizan para lograr un fin determinado, son 
suficientes para la acción de evaluar. Por lo tanto, para realizar una 
evaluación sistemática no existen requisitos respecto a la complejidad 
y organicidad de las acciones, basta con que éstas se realicen persi- 
guiendo un objetivo concreto especificado de antemano. Dicho en 
otras palabras, toda aquella actuación encaminada a lograr ciertos 
efectos o producir unos resultados es susceptible de evaluarse de 
manera sistemática. 

Cuando decimos «producir efectos y resultados concretos», tene- 
mos en cuenta una doble dimensión de esos propósitos: 


© por una parte, valorar el logro de los objetivos propuestos en un 
programa, servicio o actividad; 

e por otro lado, valorar asimismo, en qué medida se satisfacen las 
necesidades de los usuarios, beneficiarios o destinatarios del 
programa, servicio o actividad. 


De lo anterior se deriva el sentido de utilidad que debe tener la 
evaluación y la íntima relación que debe darse entre la evaluación y la 
práctica administrativa y las necesidades. de los usuarios o destinata- 
rios. Una investigación evaluativa no tiene sentido, si no es para 
mejorar la prestación de un servicio o la efectividad y eficacia de la 
administración de un programa. 


Comprobando la extensión y el grado en que dichos 
logros se han dado 


Es decir, con el proceso de evaluación se pretende dar cuenta sobre la 
forma o manera en que algo se ha llevado a cabo, y el grado en que 
dichas acciones han producido eféctos o resultados concretos. Cuan- 
do hablamos de «grado», estamos haciendo referencia tanto a la 
extensión, cuantificación o magnitud de un efecto o consecuencia 
como a su profundidad. Ya se trate de evaluar una acción, un recurso 
o servicio, un resultado o lo que fuere. 


ON 
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De forma tal, que sirva de base o guía para una toma de 


decisiones racional e inteligente entre cursos de acción... 


La investigación evaluativa sólo tiene sentido si está encaminada a la 
toma de decisiones. En efecto, una evaluación que sólo sirva para ser 
archivada en una biblioteca o para decir que se ha evaluado algo, 
carece de sentido y no es justificable desde el punto de vista técnico e 
inclusive ético. La necesidad de la evaluación viene dada porque 
permite una retroalimentación acerca de lo que se está haciendo y los 
errores que se cometen o han cometido, a fin de que se puedan ir 
subsanando, mejorando o evitando en sucesivas ocasiones. Ásimismo, 
sirve para proporcionar información objetiva que pueda fundamentar 
las decisiones de los responsables de un programa o proyecto, hacien- 
do que disminuyan las posibilidades de fracaso del mismo. Tampoco 
debemos olvidar que, en ese sentido, la evaluación es un instrumento 
útil para mejorar las políticas y las intervenciones sociales, haciéndo- 
las más eficaces y eficientes, más idóneas y pertinentes. 

No es que no se puedan tomar decisiones sin evaluación previa. 
Lo que estamos señalando es que si lo que se pretende es una toma de 
decisiones racional. e inteligente, la evaluación se torna imprescindi- 
ble. Ella permitirá elegir la alternativa de acción más conveniente, 
corregir una estrategia de acción o modificar actividades previstas, en 
función de los cambios que se den y de los resultados que se quieren 
obtener. 


Para solucionar problemas y promover el conocimiento 
y la comprensión de los factores asociados al éxito 
o al fracaso de sus resultados 


La evaluación no es un fin en sí mismo, sino un instrumento al 
servicio de unos objetivos que están relacionados con algunos aspec- 
tos o elementos de una intervención social. 

Al hablar de evaluación de programas y servicios sociales, enten- 
demos que las decisiones que se toman como resultado de una 
investigación évaluativa deben ir orientadas a la mejor solución 
posible de los problemas y las necesidades. 

Además, el proceso de evaluación debe dar cuenta de los factores 
que han contribuido al éxito o al fracaso de una acción. Sólo de esta 
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forma se podrán corregir errores, se podrá aprender de otras expe- 
riencias, y, en definitiva, se podrá mejorar la acción social. Esto es lo 
que da un carácter de instrumentalidad a la evaluación. 


RR 


En nuestra propuesta de evaluación de programas de trabajo social 
y de servicios sociales no prentendemos —como hace Scriven—, 
desplazar a la evaluación desde los objetivos hasta las necesidades. 
Consideramos necesario incluir a ambos. Lo tradicional ha sido 
centrar la evaluación en los objetivos, pero como advierte el ya 
mencionado Scriven %, los objetivos propuestos pueden ser inmora- 
les, poco realistas, no representativos de las necesidades reales de la 
gente (los destinatarios o beneficiarios del programa) o demasiado 
limitados para prever efectos secundarios posiblemente cruciales. 


— Eni el primer caso se trata de utilizar procedimientos encamina- 
dos a comprobar en qué grado se han conseguido o no las metas y 
objetivos propuestos, e identificar los factores o razones que han 
influido en los resultados. 


La cuestión es: ¿Lo que hacemos responde a lo progra- 
mado? 
Es lo que se denomina evaluación formal. 


— En otro caso, se remite a la intencionalidad del programa de 
acuerdo a la situación-problema que se desea cambiar. Hace referen- 
cia a la realidad en que se aplica el programa. Se evalúan los cambios 
reales que se han efectuado y operado en la situación concreta. 


La cuestión es: ¿Los cambios y modificaciones que se 
producen en la situación-problema son resultantes (total 
o parcial) del programa o proyecto? 

Es lo que se denomina evaluación sustantiva. 


42 M. Scriven, ob. cit. 
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No todo lo que reluce es oro, ni todo lo que se llama evaluación es, en 
sentido estricto, una forma de evaluación científica. Como bien lo 
indican Stufflebeam y Shinkfield *, existen junto a las evaluaciones 
científicas, pseudo-evaluaciones y cuasi-evaluaciones. 


Las pseudo-evaluaciones 


Son aquellas «dirigidas o utilizadas subrepticiamente para provocar 
un punto de vista determinado, positivo o negativo, sobre un objeto, 
independientemente de la valoración objetiva de su valor o mérito». 
Para ello se distorsiona la información, se la falsifica y, en el mejor de 
los casos, se utiliza selectivamente. Los autores mencionados distin- 
guen dos tipos de pseudo-evaluaciones: 


o las investigaciones encubiertas- f 
o los estudios basados en las relaciones públicas 


Las evaluaciones encubiertas llamadas también evaluaciones po- 
líticamente controladas, son aquellas que se realizan no para valorar o 
enjuiciar lo que se está haciendo (aunque se diga que ésos son e 
propósitos), sino para «obtener, mantener o incrementar una esfera de 
influencia, poder o dinero». ] 

En América Látina hemos encontrado decenas de evaluaciones 
encubiertas realizadas por algunas agencias donantes en relación a 
programas, proyectos o centros que financian. En algunos casos están 
realizadas por profesionales que poco O nada saben de investigación 
evaluativa; en otros, aunque tengan algunas nociones sobre métodos 
evaluativos, usan sus conocimientos para dar mejor revestimiento O 
ropaje académico a lo que hacen. Estas evaluaciones encubiertas 
sirven a los propósitos reales (pero ocultos) de los burócratas de las 
agencias donantes y de los burócratas de las organizaciones 
beneficiarias **. 


42 D. L. Srufflebeam y A. J- Shinkfield, ob. cit. 

4+ Algunos de estos. problemas son tratados en el capítulo 3 en lo que respecta a 
los actores sociales implicados en el trabajo evaluativo, y concretamente en lo refe- 
rente a posibles roles durante el proceso de evaluación. 
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Otra forma de pseudo-evaluaciones son los estudios basados en 
las relaciones públicas. De lo que se trata, en realidad, es de hacer un 
estudio para «crear una imagen positiva de una institución, un progra- 
ma, un sistema y similares»... Se busca la información que puede ser 
de ayuda para asegurar el apoyo público y «extraer de él la imagen que 
desea y conviene». En suma: la. pretendida evaluación tiene como 
propósito principal «vender una imagen» y cumplir funciones de 
public relations que, si bien pueden ser válidas, no constituyen un 
criterio científico de valoración. 

En el caso de España y otros países latinos, además de estas formas 
de pseudo-evaluación que han señalado Stufflebeam y Shinkfield tam- 
bién se dan otros casos de falsas evaluaciones. Quizá porque en 
nuestros países no existe tan larga tradición evaluadora y, otras veces, 
porque los propósitos reales no son la evaluación científica. Es el caso, 
por ejemplo, de las evaluaciones (que no son tales), que concluyen 
indicando la o las formas en que debería hacerse la evaluación. O, 
dicho en otras palabras, las que en lugar de enjuiciar y valorar un 
servicio o programa, terminan señalando un listado de criterios para 
poder realizar una evaluación del mismo. Ésta es una forma —poco 
honesta, por cierto— de «cobrar» una investigación que se ha «vendi- 
do» como evaluativa, pero que, en la práctica, sólo sirve para realizar 
una evaluación posterior. De esta forma, se asegura un nuevo contrato 
donde se «promete» hacer una verdadera evaluación... Ésta, que es 
una forma de ganar dinero o aumentar el currículum, nos parece 
deshonesta, tanto desde el punto de vista ético como profesional. 

En otro orden de cosas, como han señalado Luque y Casquete *, 
en España los programas e intervenciones sociales suelen ser poco y 
mal evaluadas, ya que éstas «suelen valorarse junto al programa 
matriz, con lo cual su alcance particular es difícil de determinar», o 
bien son evaluadas «enfatizando los éxitos, minimizando los fracasos 
y proponiendo correcciones que escapan al diseño inicial de la 
evaluación». En otras ocasiones se evalúan los efectos producidos 
cuando éstos son ya rutinarios. En definitiva, para estos autores, estas 
situaciones revelan que: la evaluación no se considera un componente 
esencial del diseño; además no se realiza con rigurosidad; y los 
evaluadores suelen actuar con gran condescendencia, porque general- 
mente son sus mismos diseñadores y ejecutores. 


45 A. Luque y A. Casquete de Prado, «La evaluación de programas de intervención 
social: criterios y técnicas», en Revista de Treball Social, núm. 115; 1989. 
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Las cuasi-evaluaciones. 


Se trata de evaluaciones que no siempre permiten formular un juicio 
valorativo, habida cuenta que las cuestiones de «valor» suelen ser 
secundarias o tangenciales, como ocurre con: 


e los estudios basados en los objetivos; 
e los estudios basados en la experimentación. 


En cuanto a los estudios basados en objetivos, y.que han sido 
los precursores” de los trabajos evaluativos 46, son una forma de 
evaluar que se limita a «determinar si los objetivos han sido alcanza- 
dos y, de acuerdo con esto, concluir si se ha tenido éxito en el trabajo 
que se ha valorado». Sin embargo, el poder especificar en qué medida 
se han alcanzado los objetivos propuestos, no permite un juicio de 
valor sobre un programa, plan, actividades o servicio. Es el caso, por 
ejemplo, de la evaluación educativa tal como la concibe Bloom y 
otros: que los alumnos alcancen o no los objetivos prefijados no 
brinda evidencia válida y fiable sobre el valor de la escuela o el sistema 
éducativo. Es más, ni se lo plantea. Dicho en otros términos: se 
pueden alcanzar los objetivos propuestos, sin que ello constituya una 
garantía de que lo que se está haciendo tenga un valor y sea significa- 
tivo. 

Además, como señalan Stufflebeam y Shinkfield, este tipo de 
cuasi-evaluaciones produce, «una información que llega demasiado 
tarde para ser utilizada en el perfeccionamiento de los servicios» y «de 
muy poco alcance como para constituir. una base sólida a la hora de 
enjuiciar el valor de un servicio». 

Por otro lado, los estudios basados en la experimentación tienen 
una limitación en cuanto al aspecto sustantivo de toda evaluación: no 
siempre incluyen cuestiones relacionadas con los juicios de valor. Su 
limitación proviene del método utilizado que, si bien puede propor- 
cionar información sobre relaciones causales, no siempre permite la 
formulación de un juicio valorativo, y esto es un aspecto sustancial de 
la evaluación. Por otra parte, sólo considera los problemas que son 
susceptibles de estudiarse con el método experimental, lo que restrin- 


46 Véase en este mismo capítulo, en el parágrafo 2, las definiciónes de Tyler, 
Suchman o Grondlund. 
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ge sus posibilidades de aplicación a la investigación evaluativa. Así, 
este tipo de estudios es más aplicable en evaluación de resultados 
que en otros tipos de evaluación. 

A las pseudo-evaluaciones y a las cuasi-evaluaciones, se contrapo- 
nen las evaluaciones científicas o investigación evaluativa propiamente 
dicha (llamadas «verdaderas evaluaciones» por los autores que hemos 
seguido en este parágrafo), cuestión que pretende ser el tema central 
de este trabajo. 


5. TIPOS DE EVALUACIÓN 


En lo que respecta a las formas o tipos de evaluación, podemos hacer 
muchas clasificaciones con arreglo a diferentes criterios, pero són cua- 
tro las que tienen mayor interés práctico: según el momento en que se 
evalúa, según el papel o función que cumple la.evaluación, según la 
procedencia de los evaluadores y según los aspectos del programa que 
son objeto de evaluación. 


Según el momento en que se evalúa 
De acuerdo a este criterio, se puede hacer una triple distinción: 


a. Evaluación antes (o ex-ante), llamada también inicial o 
pre-decisión *.. Cómo su nombre. indica, se realiza antes de tomar la 
decisión de emprender-un programa o proyecto, o de aprobar su 
realización. Es decir, se hace en la fase de diseño del. programa. 
Consiste en evaluar el programa o proyecto en sí mismo, mediante la 
estimación crítica de su pertinencia, viabilidad y eficacia potencial, 
con el fin de proporcionar criterios racionales sobre la conveniencia o 
no de llevar a cabo un programa o proyecto. Generalmente, trata de 
«comparar la eficacia o la rentabilidad económica de las diferentes 
acciones para alcanzar los objetivos deseados» *, 


* J. M. Lance, L'évaluatión des programmes à la prévention: concepts et principes 
d'aplication, Quebec, Commission de Santé et Securité du Travail, 1982. P. H. Rossi y 
H. E. Freeman, Evaluation: A Systematic Approach, Sage Pub., Beverly Hills, 1982. 

38 R. Pineault y C. Daveluy, ob. cit. 
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Comporta tres aspectos principales: 


e pertinencia del proyecto con la realidad: se trata de 
establecer la coherencia entre las soluciones que se 
proponen y la realidad que se pretende modificar. 

e coherencia y congruencia internas: es un análisis que 
atiende fundamentalmente a los aspectos formales. 
Interesa básicamente evaluar la organicidad/: unidad del 
proyecto. Para ello hay que examinar su viabilidad y 
coherencia de.las relaciones entre: 


— medios/recursos y objetivos 

— objetivos generales, objetivos específicos y me- 
tas 

— diagnóstico y proposiciones 


e rentabilidad económica de las diferentes acciones para 
alcanzar los objetivos propuestos. 


b. Evaluación durante la ejecución, denominada también eva- 
luación de gestión, evaluación continua, evaluación concurrente, mo- 
nitorización o evaluación concomitante. Es la que se realiza durante 
la fase de ejecución, suministrando información sobre la marcha del 
programa con una ponderación de los resultados. Su objetivo básico 
es evaluar los cambios situacionales, es decir, establecer en qué me- 
dida se está cumpliendo- y realizando el programa o prestando un 
servicio de acuerdo a la propuesta inicial. 

No siempre es fácil diferenciar en la práctica este tipo de evalua- 
ción con el control operacional, En sentido estricto, la evaluación 
continua se diferencia del control porque ésta proporciona también 
un juicio sobre los supuestos en que sé apoya la formulación del 
programa, a la vez que permite adoptar dos tipos de decisiones: 


— continuat o no con el programa, y 

— en el caso que se justifique su continuidad: establecer 
si se mantiene la formulación inicial o se redefinen los 
objetivos y metas propuestas y los procedimientos 
operativos quese utilizan. 


Este tipo de evaluación permite una retroacción constante a lo 
largo de todo el proceso de desarrollo del programa. 
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c. Evaluación ex-post: es la que se realiza una vez que el 
programa o proyecto ha finalizado. En sentido estricto, hay que 
diferenciar la evaluación de fin de proyecto de la evaluación ex-post. 
Así, la evaluación de fin de proyecto es: la quese realiza una vez 
concluida la fase de ejecución; mientras que la evaluación ex-post 
propiamente dicha, se lleva a cabo cuando el programa o proyecto ha 
alcanzado su pleno desarrollo (meses o incluso años después de 
finalizada la ejecución). Por ello, este último tipo de evaluación se 
suele llamar evaluación de impacto o evaluación post-decisión. En 
definitiva, se trata de dos formas de evaluación de resultados que 
proveen información sobre la ejecución, funcionamiento y resultados 
o efectos de un programa. De ordinario se realiza para evaluar cuánto 
y cómo se ha cambiado la «situación inicial», o cuánto se ha logrado o 
alcanzado la «situación objetivo», según lo que se tome como punto 
de referencia. 

_ Tanto la evaluación durante como la evaluación ex-post (en sus 
distintas modalidades), tienen una doble finalidad: 


o Mee el logro de los resultados generales, en térmi- 
nos de: 


— eficiencia 
— productos 
— efectos 
— impacto 


e obtener enseñanzas y experiencias parą otros progra- 
mas o proyectos futuros. 


Según las funciones que cumple la evaluación 


Después de un análisis crítico de los diferentes enfoques de evaluación 
que estudian «en qué medida se han alcanzado los objetivos del 
programa», Scriven propone modalidades para evaluar las necesidades 
de los usuarios. De ahí surge la distinción entre evaluación sumativa y 
evaluación formativa, ambas aluden al papel que desempeña la eva- 
luación, y que, como veremos, es criticada por algunos autores. 


a. La evaluación sumativa hace referencia al estudio de los 
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resultados o efectos de un programa *. A través de esta modalidad 
evalnativa se determina hasta qué punto se cumplen los objetivos o se 
producen los efectos previstos. Determina el valor de un programa 
una vez que ha sido desarrollado, investiga los efectos y los compara 
con las necesidades de los usuarios o beneficiarios. Podemos decir, 
entonces, que este tipo de evaluación se dirige básicamente a juzgar si 
un programa vale la pena mantenerlo o darlo por terminado. 

b: La evaluación formativa hace referencia al seguimiento que 
se realiza durante el proceso de ejecución de un programa o proyecto. 
Proporciona información acerca de cómo se desarrolla dicho proceso 
y sirve básicamente para ayudar a la puesta en marcha de un programa 
o para mejorar lo que se está realizando o su funcionamiento. 


Respecto a la distinción entre evaluación sumativa y evaluación 
formativa, Cronbach piensa que «los dos términos no son adecuados 
para las discusiones de hoy en día [...] Las evaluaciones se usan casi 
totalmente de un modo formativo cuando se usan. Esto es cierto, 
incluso en los estudios que se autolimitan a medir resultados» 59; 
Nosotros creemos que la distinción sigue siendo válida, ya que no hay 
que menospreciar la evaluación sumativa en beneficio de la formativa 
o viceversa. Estas dos modalidades són complementarias. Y de lo 
que se trata es de utilizar una u otra forma, de acuerdo al contexto 
y la situación concreta. 

Dentro de este criterio de clasificación —según las funciones que 
cumple la evaluación— la propuesta de Patton 51 denominada «eva- 
luación centrada en la utilización» (Utilization-Focused Evaluation) 
nos parece más adecuada. Esta modalidad se corresponde con una 
concepción de «sistema abierto» en la teoría de las organizaciones *, 
Dicha concepción sitúa a la organización en relación con un medio 


4% M. Q. Patron, Utilization-Focused Evaluation, Beverly Hills, Sage Pub., 1978; 
L: L. Morris y T. C. Fitrz-Gibbon, Evaluation Handbook, Beverly Hills, Sage Pub., 
1978. 

50 J, L. Cronbach, Toward Reform of Program Evaluation, San Francisco, Jos- 
sey-Bass, 1980. 

51 M. Q. Patton, ob. cit. 

52 A. Broskowski y J. Priscoll, «The Organizational Context of Program Evalua- 
tion», en C. C. Artkinson; W. A. Hargreaves, y M. J. Horowitz (comps.), Evaluation 
of Human Service Programs, Nueva York, Academic Press, 1978; J. D. Thompson, 
Organization in Action, Nueva York, McGraw-Hill, 1967; P. R. Lawrence y Y. 
Lorsch, Organization and. Environmént: Managing Differentation and Integration, 
Homewood, Illinois, R. D. Irwin, 1979. 


Precisiones conceptuales y terminológicas 31 


ambiente caracterizado por la incertidumbre y una cierta turbulen- 
cia 53. Siendo importante, entonces, para el éxito de esa organiza- 
ción, adaptarse a ese medio ambiente, tomándose las decisiones en 
función de criterios de «satisfacción suficiente» (satisficing), es decir, 
tratando de reducir la incertidumbre y la turbulencia, más que de 
optimizar o maximizar —como se propone en el enfoque racional o 
el sistemático *, 

Por lo tanto, sería.más correcto hablar de «racionalidad limitada»; 
lo que nos lleva å considerar la evaluación s$umativa como de más 
difícil aplicación, dada la dificultad para formular metas estables y 
permanentes en las organizaciones. Estas circunstancias son las que 
llevan a Patton a plantearse la «evaluación centrada en la utilización» 
(Utilization-Focused Evaluatiog), consistente en adaptar continua- 
mente los métodos seleccionados por el evaluador a las situaciones 
particulares. El elemento esencial aquí es la participación continua en 
todo el proceso evaluativo, tanto de los decisores como de los 
destinatarios de la información ”. 


Según la procedencia de los evaluadores 


De acuerdoa este criterio pueden distinguirse cuatro tipos de evalua- 
ción: 


a. Evaluación externa: es aquella que recurre a evaluadores que 
no pertenecen, ni están vinculados (directa o indirectamente) a la 
institución ejecutora del programa o proyecto que se evalúa. Cuando 
se realiza este tipo de evaluación, de ordinario se recurre a la partici- 
pación de expertos contratados por la institución que quiere evaluar 
alguna o lá totalidad de las actividades que realiza, áreas de actuación 
o programas/proyectos específicos. 

b. Evaluación interna: esta modalidad de evaluación es la que 
se realiza con la participación (como evaluadores) de personas que 
pertenecen a la institución promotora o gestora del programa o 
proyecto a evaluar, peró que no son directamente responsables de la 
ejecución. 


5 j. D. Thompson, ob. cit.; S. Terreberry, «The Evolution of Organizational 
Environments», en Adm. Sci. Quant., vol. 12, 1968; P. R. Lawrence. ob. cit. 

5* R, Pineault y C. Daveluy, ob. cit. eS i 

55 M. Q. Patton, ob. cit. 
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c Evaluación mixta: este tipo de evaluación es una combina- 
ción de las anteriores; se realiza por un equipo de trabajo que incluye 
evaluadores externos (ajenos a la institución cuyo programa O proyec- 
to se evalúa) y evaluadores internos (pertenecientes a la institución 
ejecutora). 

d. La autoevaluación: las actividades evaluativas están a cargo 
de aquellos que están implicados directamente en la ejecución o reali- 
zación del programa o proyecto, y que valoran y enjuician sus propias 
actividades para determinar si están cumpliendo las metas propuestas. 


Ahora bien, realizadas estas distinciones/clasificaciones, descen- 
diendo a preocupaciones prácticas antes de realizar cada. investiga- 
ción evaluariva cabe preguntarse ¿qué tipo de evaluación es la más 
adecuada?: ¿evaluación externa o evaluación interna? ¿mixta O auto- 
evaluación? Existen ventajas y desventajas para una u Otra opción. 
Veámoslo. 

Cuando ¿e procede a realizar una evaluación con el personal de la 
misma institución o unidad administrativa, sobre todo si se trata de la 
administración pública, se corre el riesgo de que los responsables de 
esta tarea, consciente o incónscientemente, traten de resaltar lo bueno 
del programa y de minimizar los aspectos negativos o menos positi- 
vos. En otros casos se busca el «chivo expiatorio» responsable de los 
fracasos, ya sea externos a lá institución o dentro de ella. También 
puede ser una buena ocasión (en el caso de conflictos o tendencias 
contrapuestas al interior de la institución) para que los evaluadores 
tomen desquite con algunos responsables del programa con quienes 
tienen una sitúación conflictiva o de enfrentamiento. 

Las ventajas de la evaluación interna vienen dadas básicamente por 
el mayor conocimiento y familiaridad que se tiene de lo que se va a 
evaluar. Pero tiene sus desventajas derivadas de los riesgos de subjeti- 
vidad o, si se quiere, de menor garantía de objetividad como conse- 
cuencia de la implicación de los evaluadores con lo que se evalúa. Son 
a la vez, juez y parte. 

Por el contrario, los evaluadores ajenos a la organización cuyos 
programas © proyectos son evaluados, son personas que no están 
implicadas en el programa a evaluar. Existe la ventaja de una mayor 
objetividad, aunque también hay desventajas: rio es fácil que un eva- 
luador externo pueda captar plenamente todos los factores en juego 
(y que tienen su historia dentro del programa o de la organización) 
y con la naturaleza y funcionamiento del programa. 
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F Frente a estas ventajas y desventajas, puede pensarse en lá conve- 

niaaa ed una evaluación mixta que, en principio, permitiría equili- 
rar los factores desfavorables y reforzar los favorables 


Según los aspectos del programa que son objeto 
de evaluación Š 


upa de las clasificaciones más útiles es la que se realiza atendiendo a 
7 aperos o componentes del programa que son objeto de evaluación. 

-os tipos de evaluación que resultan de este criterio, tienen implica- 
no a y epa muy importantes, hasta el punto que 

uando se habla de tipos de evaluación, s i 

la de , se suele hacer referencia 

forma de clasificación. GA 
k Saon bien, en este punto no existe una coincidencia total entre 

ys op evaluadores y autores que han escrito sobre la materia. 
E m ae fpica nuestra tipología de evaluaciones con arreglo al 

erio del objeto de evaluación, queremos pasar revista a las clasifi- 

ridae y propuestas de algunos autores. 

f oz poenta con un ejêmplo que nos es más cercano, podemos 
citar la clasificación que hacen Luque y Casquete %. Para estos 


autores españoles, las evaluaciones que pueden realizarse son las si- 
guientes: 


evaluación de necesidades 
evaluación de procesos 
evaluación de resultados 
evaluación de eficacia 
evaluación de costos 


Esta clasificación, desde nuestro punto de vista, presenta algunos 
problemas conceptuales, ya que la evaluación de la eficacia pued: 
ser incluida en la evaluación de resultados (de hecho, cuando se cda a 
una evaluación de resultados, se comprueba —entre otras om la 
eficacia real del programa). Por otra parte, al hablar de evaluación de 
costos (sería más correcto hablar de evaluación económica), se hace 
referencia a un tipo de evaluación cuya naturaleza no es similar al 
resto de los tipos antes indicados. Lo que distingue a la evaluación 


36 A. Luque y A. Casquete de Prado, ob. cit. 
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económica del resto de las evaluaciones son los procedimientos y 
unidades de medida que utiliza, y no tanto los aspectos objeto de 
evaluación (salvo en el caso de evaluación del rendimiento o reritabili- 
dad). Dicho en otras palabras, se puede hacer evaluación económica 
dentro o fuera de una evaluación de necesidades, procesos O resulta- 
dos, pero también puede no hacerse. Es decir, estos autores realizan 
una clasificación utilizando dos criterios clasificatorios distintos y no 
de forma simultánea, lo que puede inducir a error. 

Siguiendo con autores españoles, podemos mencionar la clasifica- 
ción que realiza Caride 57, cuando distingue cuatro tipos de evalua- 


ción: 


e evaluación de contexto/evaluación de necesidades 
o evaluación del diseño 

o evaluación del proceso 

e evaluación del producto 


En líneas generales se ajusta a la distinción tripartita en la que 
suelen coincidir la mayoríá de los autores. Sin embargo, Caride 
diferencia la evaluación de necesidades de la evaluación del diseño y 
conceptualización de programas (distinción que muchos autores no 
realizan, por considerar la evaluación de necesidades como parte de 
ella). De alguna forma esta clasificación se ajusta al criterio de 
evaluación temporal (antes, durante, después) sin ser exactamente lo 
mismo. 

En una obra de muy reciente publicación 58, F, Alvira establece 
una nueva tipología de evaluaciones de acuerdo a un criterio analí- 
tico/lógico, y con una relación de tipo jerárquico entre ellas: 

e evaluación de necesidades 

e evaluación del diseño/conceptualización del programa 
de intervención ' 

e evaluación de la evaluabilidad 

e evaluación de la implementación 

e evaluación de la cobertura 


57 J, A. Caride, De la evaluación de necesidades a la evaluación de programas 


sociales en desarrollo comunitario, Universidad de Santiago de Compostela, s/f (fotoco- 


piado). 
58 P, Alvira, Metodología de la evaluación de programas, Madrid, CIs, 1991. 
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monitorización y seguimiento del programa 

evaluación de resultados 

evaluación de impacto 

evaluación económica 


E 
n el campo de la salud, se acepta generalmente la clasificación 


de ea uy ° y Donabedian % que establece tres tipos 


e evaluación de la estructura 

e evaluación del proceso 

e evaluación de los efectos 

Esta clasificación si A 
ción sin duda es muy útil 

e fi i s es muy útil para los programas 
a 3 ya que éstos básicamente consisten en la utilización as ci 
a organizados para la prestación de ciertos servicios 
Ee iea qpe persiguen el logro de determinados objetivo De bi 
cd se de manera especial la evaluación de dichos reciirsos y su 
as in ias la evaluación de las actividades y poi 
Ero co) y a evaluación de los efectos (objetivos). Por otra parte 
do adba se engia bastante con el consenso generalmente 

este campo; si bien para los servici i 

. . 9s 
R EA e P servicios sociales nos parece 
La clasificació i 
x a clasificati de Rossi y Freeman %! y Ruthman 4, tiene basta 
i s Sae pa .. . - 
con la anteriòr, si bien su formulación específica puede 


adaptarse mejor p: 
T ara los program: 
sociales: programas de acción social o servicios 


e evaluación del diseño y conceptualización del progra- 


evaluación o seguimi F 
iento de la instrumi ió 
sarrollo del programa entación y de- 


evaluación o valoración de A 
ación de la efectivi e 
del programa ectividad y eficiencia 


52 R, Pineault y C. Daveluy, ob. cit. 


€ A. Donabedi i 7 
A. Donabedian, ob. cit., y La calidad de la atención médica. Definición y 


meados z aradin o La Prensa Médica Mexicana, 1984 

. H.- ; H, E: Freeman F i tion. / 

i Birak TH ase DA, y SR. Wright, Evaluation. A Systematic Ap- 
L. Ruthman, ob. cit. 


36 


M.“ José Aguilar y Ezequiel Ander-Egg 


icació men- 

En esta clasificación se entremezclan algunos de los aspectos 3 

cionados separadamente por Pineault y Daveluy y Donabe an H 
decir, no se trata solamente de un cambio en la denominació: 


cada tipo de evaluación. 


Por su parte, y dentro del capítulo latinoamericano, encontramos 
una clasificación de las evaluaciones atendiendo 2 los aspectos que 
serán evaluados (áreas). En este sentido, la clasificación que propo- 


níamos % hace más de una década, 


EVALUACIÓN FORMAL 


Atiende a los componentes internos 
del programa. Se juzga la pertinen- 
cia formal y potencial del programa 
o coherencia interna entre sus distin- 
tos componentes. 


Áreas de coherencia interna 


a. evaluación del estudio y diagnós- 
tico. 

b. evaluación del diseño o fase de 
programación. 

c. evaluación del proceso y desarro- 
llo del programa (comparar lo 
que se está realizando con lo pla- 
nificado). . 

d. evaluación de los insumos (canti- 
dad, calidad y disponibilidad de 
recursos para implementar el pro- 

a). , 

e. ANNON del perfil estructural y 
funcional. de la institución desde 
la cual se realiza el programa. 

f. evaluación de los procedimientos 
utilizados. X 

g. evaluación de la coordinación del 
prográma con otros similares o 

con aquellos que debe coordinarse. 


:63 E, Ander-Egg, ob. cit. 


y que en algún sentido también 


EVALUACIÓN SUSTANTIVA 


Trata de juzgar la pertinencia de los 
logros del programa en relación con 
los problemas o necesidades que 
afectan a la población destinataria y 
que dieron objeto a la intervención. 
Se juzga la pertinencia real del pro- 


grama. 


Áreas de coherencia externa 


a. evaluación de los resultados efec- 
tivos (estimar, valorar y juzgar los 
logros). Puede ser una evaluación 
de productos, efectos O impacto- 

b. opinión de los beneficiarios, des- 


tinatarios O usuarios. 
c evaluación de los, efectos indirec- 
tos y de los efectos no esperados. 
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es compartida por Espinoza Vergara %, distinguía diez áreas de eva- 
luación: siete de ellas se refieren a la coherencia interna del programa 
o proyecto, y las tres restantes a la coherencia externa. En el primer 
caso se trata de una evaluación formal, mientras qué en el segundo 
es una evaluación sustantiva. 

Ahora bien, como se decía en ese mismo libro, «en la práctica, 
toda evaluación comporta el análisis de determinadas áreas de cohe- 
rencia interna y otras de coherencia externa. Depende de cada caso 
concreto, según las necesidades e intereses de quienes encomiendan la 
realización de una investigación evaluativa. La distinción que hace- 
mos en diez áreas tiene, fundamentalmente, un propósito pedagógico: 
ayudar a una mejor comprensión de los diferentes aspectos que abarca 
la tarea evaluativa de un programa realizado en una institución u 
organización» %. Hoy, como explicamos de inmediato, proponemos 
una clasificación diferente, que incluye los elementos que antes ha- 
bíamos considerado dentro de las áreas de evaluación *. 

En nuestra propuesta concreta, a la hora de clasificar los tipos de 
evaluación según los aspectos a evaluar, hacemos una triple distin- 
ción: - 

e Evaluación del diseño y conceptualización del programa. 

e Evaluación de la instrumentación y seguimiento del programa 

(evaluación del proceso). 

e Evaluación de la eficacia y eficiencia del programa (evaluación 

de resultados). 


Evaluación del diseño y conceptualización 
del programa 


Este tipo de investigación evaluativa —tal como su denominación lo 
indica— evalúa básicamente un trabajo de gabinete por el que se 


# M. Espinoza Vergara, ob. cit. 

$5 E. Ander-Egg, ob. cit. 

$6 Consideramos que esta clasificación, si bien es bastante diferente de las restantes, 
es, en ciertos aspectos, compatible con algunas de las ya mencionadas. Así, y como luego 
veremos más detenidamente en el capítulo 3, dentro de las áreas de coherencia interna, 
las dos primeras son equivalentes o pueden incluirse en la evaluación del diseño y 
conceptualización de programas. El resto de las áreas de coherencia interna puede 
ericuadrarse dentro del seguimiento de la instrumentación y desarrollo del programa. Y 
la totalidad de las áreas de coherencia externa o evaluación sustantiva puede identificar- 
se con la valoración de la efectividad y eficiencia del programa. Sin embargo, hemos 
dejado de lado esta clasificación por la que proponemos en este mismo capítulo. 
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juzga la pertinencia formal y potencial de un programa, teniendo 
en cuenta básicamente la coherencia interna entre sus distintos com- 
ponentes. Comporta tres aspectos fundamentales: 

e Evaluación del estudio-investigación. 

e Evaluación del diagnóstico. 

e Evaluación del diseño y concepción del programa. 


Si se han seguido los pasos o requerimientos del método científico, 
el paso previo a la elaboración de un programa es el estudio/ 
investigación de aquella situación-problema o aspecto de la realidad 
sobre la que se va a actuar. Esta investigación, como todas las que se 
realizan con un propósito de intervención social, es una investigación 
aplicada. Consecuentemente debe culminar'con un diagnóstico de la 
situación- problema ©. En esta investigación y en el diagnóstico, se 
trata de establecer la naturaleza, magnitud y características básicas del 
problema que será objeto de intervención, así como los recursos y 
medios operacionales de intervención, susceptibles de utilización, 
y los factores relevantes contextuales que inciden en el mismo. 

. Ahora bien, si la investigación y/o el diagnóstico no reflejan ade- 
cuadamente la realidad, todas las elaboraciones posteriores (desde el 
diseño hasta la programación y ejecución) se irán montando sobre 
una base falsa. De ahí la necesidad de este tipo de evaluación, cuya 
realización tiene un mayor sentido si se efectúa en la fase de formu- 
lación y planeamiento del programa. 

Si bien hemos denominado de manera general a estos tres aspectos 
que pueden ser evaluados «diseño y conceptualización del programa», 
en sentido estricto evaluar el diseño y concepción del programa es 
evaluar el modelo de intervención social al que se recurre para 
resolver determinada situación problemática. Esto comprende en sus 
aspectos más formales las estrategias de acción, las actividades concre- 
tas que se han propuesto y, sobre todo, los métodos,. técnicas y 
procedimientos que se piensan utilizar. Sin embargo, en este punto 
sería importante que la evaluación pusiera de relieve (en'el sentido de 
que explicitase), cuál es el modelo o paradigma subyacente. De 


$7 Hemos explicado en otro trabajo (Investigación y diagnóstico para el trabajo 
social, Buenos Aires, ICSa-Hvmanitas, 1986), que la realización de un diagnóstico es 
algo más que la realización de una investigación. Se puede realizar una buena inves- 
tigación y un diagnóstico deficiente. Sin embargo, un diagnóstico no puede hacerse 
sin da base de un estudio previo. 


oran 


Pai 
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ordinario no se suele tener una conciencia plena de estos elementos 


subyatentes, ni por parte de quienes formulan el programa, ni de 
quienes lo evalúan. 


Evaluación de la instrumentación f 
y seguimiento del programa 


Cuando ya se ha puesto en marcha un programa de intervención 
social puede ser necesario evaluar cómo está funcionando. Esta 
evaluación puede ser global o de alguno de los aspectos puntuales que 
comporta el proceso de ejecución del programa y que puede ser 
objeto de seguimiento. La evaluación del proceso aborda diferentes 
componentes relacionados con' el funcionamiento del programa y 
con los servicios producidos. Comprende varios aspectos y dimen- 
siones: en primer lugar, la cobertura del programa (en qué medida 
alcanza a la población-objeto), los aspectos técnicos de la implemen- 
tación (cómo se operacionaliza el programa), los aspectos estructu- 
rales y funcionales del organismo responsable del programa o de la 
prestación de los servicios y, por último, el rendimiento del personal 
responsable de llevar a cabo el programa. Veamos en qué consiste, 
en términos generales, cada una de estas evaluaciones puntuales. 


Evaluación de la cobertura. Todo programa de acción social tiene 
unos destinatarios y pretende cubrir una determinada área de actua- 


ción. De lo que se trata es de establecer en la evaluación de la co- 
bertura lo siguiente: 


— en qué medida se llega a la población destinataria. 


e la población-objeto conoce el programa: cuántos, en qué 
medida. 

e el programa es accesible; si no lo es, qué barreras u obstácu- 
los dificultan la accesibilidad. 


e es aceptado el programa por la población. 


— en qué medida se cubre el área de actuación; cuál es la cobertu- 
ra efectiva. 


Evaluación de la implementación. Para llevar a cabo cualquier tipo 
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de actividades es necesario que lo programado sea implementado. 
Esto significa que se hayan previsto los instrumentos necesarios para 
traducir operativamente lo que quería realizarse en un espacio y 
tiempo determinado. 

A veces un programa no está alcanzando los objetivos, resultados 
o efectos deseados, porque hay deficiencias en la implementación, es 
decir, porque los instrumentos y medios utilizados no son los adecua- 
dos. Para esto hay que establecer si estos medios e instrumentos son: 


e necesarios: cuando no se puede prescindir de ellos porque 
contribuyen significativamente al éxito del programa. 

e suficientes, en el sentido de que bastan para alcanzar las metas 
y objetivos propuestos. 

e idóneos, es decir, tienen la capacidad de cumplir con las metas 
establecidas (obtener resultados en cantidad y calidad dentro 
de los plazos propuestos). , 

e potentes: en cuanto tienen la capacidad de atacar la situación- 
problema y de sortear obstáculos y dificultades. 

e eficaces, puesto que los medios utilizados son los más idóneos 
en relación a los objetivos y propósitos que se buscan. 


Evaluación del ambiente organizacional en el que se desarrolla el 
programa. De lo que se trata. es de valorar hasta qué punto la 
organización responsable del programa favorece o dificulta la marcha 
del mismo, ya sea en sus aspectos estructurales como funcionales. 
Este tipo de evaluación implica analizar tanto el aspecto organizativo 
formal como el psico-social, a la luz de los objetivos y fines de la 
institución y el ambiente o contexto social en que se inserta. 
Entendiendo la organización —desde una perspectiva sistémi- 
ca— cómo un sistema abierto compuesto de cinco sub-sistemas: 
objetivos y valores, tecnológico, estructural, psico-social y 
administrativo 68; la evaluación del ambiente organizacional incluiría 
a estos cinco sub-sistemas componentes, en su relación con el progra- 
ma de intervención y el contexto o supra-sistema en que se inserta. 


eX F, Kast y J. Rosenzweig, Administración en las organizaciones. Un enfoque de 
sistemas, México, Mac Graw Hill, 1979. 
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Evaluación del rendimiento personal. La evaluación del rendimiento 
personal consiste en medir la capacidad, competencia y habilidad de 
un individuo para efectuar determinadas actividades'y tareas que le 
son asignadas, como propias de su trabajo, dentro de un programa. 

Descrito de una manera general lo que comporta el rendimiento 
personal, pareciera fácilmente delimitable aquello que queremos eva- 
luar, pero en cuanto comenzamos a desglosar los componentes y 
elementos observables que comportan, el problema se torna mucho 
más complejo, habida cuenta de que hay muchos aspectos a consi- 
derar en lo que configura el rendimiento personal; de aquí algunos: 


e las habilidades y aptitudes necesarias para la tarea; 

e la actitud frente al trabajo y las motivaciones para realizarlo 
responsablemente; 

e la capacidad de aplicar conocimientos (teóricos y prácticos) y 
de sistematizar la propia experiencia; 


e forma y capacidad de organizar el trabajo y de solucionar los 
problemas concretos. 


Cada uno de estos elementos refleja una parte del rendimiento 
total; evaluar uno solo de estos aspectos puede ser totalmente insufi- 
ciente. Hemos de decir, además, que para la evaluación del rendimien- 
to personal, la actuación primera y básica que hay que realizar es la 
de identificar las actividades y áreas que hay que evaluar. 


Evaluación de la eficacia (resultados) y eficiencia 


(rentabilidad) 


En cuanto a la evaluación de la eficacia o efectividad (que es la 
evaluación de resultados), consiste en analizar en qué medida se están 
alcanzando los resultados previstos, aunque en algunos casos sería 
oportuno evaluar resultados o efectos no previstos. 

Esta evaluación de resultados se establece en relación a los 
usuarios/beneficiarios del programa. Cuando se tiene en cuenta al 
conjunto de la población (de la que forma parte los destinatarios del 
programa) se realiza lo que se denomina evaluación de impacto. 

De todos los aspectos que hemos venido considerando, cabe 
señalar que la evaluación de resultados tiene una importancia y 
centralidad indiscutible. Y lo es hasta tal punto, que todos los otros 
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aspectos pueden ser interesantes y útiles para una investigación 
evaluativa, pero siempre lo son en función última de los resultados. 
¿De qué vale o sirve que funcione la institución responsable del 
programa, si no se logran resultados esperados?, ¿de qué vale o sirve | 
una adecuada implementación, si luego no se alcanzan los resultados | 
previstos?, ¿de qué vale o sirve alcanzar la cobertura prevista, si no 
se obtiene el efecto deseado?... £ 
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1. OBJETIVOS DE LA EVALUACIÓN 


La opinión frecuentemente expresada, de que la evaluación se 
reduce a decidir si los objetivos de un programa han sido 
alcanzados o no, es demasiado restrictiva. La evaluación debe 
ser algo más que una simple autopsia, debe ser un medio 
efectivo de mejorar los actuales programas o la planificación de 
futuras actividades. 

PIERRE DROUET 


¿Para qué evaluar un programa, proyecto, intervención, proceso? 

¿qué se quiere conseguir con ello?, ¿cuáles son los objetivos o fines de 
la evaluación?... Ésta es la cuestión que ahora nos ocupa, y que 
explicaremos siguiendo la forma clásica * de presentar los objetivos de 
cualquier tipo de investigación evaluativa. 

Como formulación general y primera aproximación a la cuestión 
planteada, hemos de decir que la evaluación tiene como objetivo 
conocer cómo va o cuál es la marcha de lo que se está haciendo. Para 
decirlo de una manera más precisa, se trata de saber en qué medida se 
están alcanzando los objetivos y metas propuestos dentro de un 


1 Decimos forma clásica, porque la mayoría de los autores y obras suelen —con 
ligeras matizaciones—, coincidir en líneas generales con la presentación que ahora 
realizamos en este trabajo. Así, tanto en organismos internacionales como la mayoría 
de los autores latinos, la respuesta a la pregunta: ¿cuáles son los objetivos de la 
evaluación?, tiene respuestas muy parecidas. (Véase Grupo de Trabajo del cAc, 
Seguimiento y evaluación. Pautas básicas para el desarrollo rural, Roma, FAO, 1984; M. 
Espinoza Vergara, Evaluación de proyectos sociales, Buenos Aires, Humanitas, 1983; 
E. Cohen y R. Franco, Evaluación de proyectos sociales, Buenos Aires, Grupo Editor 
Latinoamericano, 1988; E. Ander-Egg, Evaluación de programas de trabajo social, 
Buenos Aires, Humanitas, 1984; J. A. Caride, De la evaluación de necesidades a la 
evaluación de programas sociales en desarrollo comunitario, Universidad de Santiago de 
Compostela, [doc. fotocopiado], s/f.) 
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programa o proyecto en marcha, cómo se está prestando un servicio o 
cómo se está modificando una situación-problema. 

Una obra ampliamente conocida sobre investigación evaluativa 
resume de esta forma los objetivos de la evaluación: «proporcionar 
pruebas objetivas, sistemáticas y completas del grado en que el 
programa ha conseguido los fines que se proponía y del grado en que 
ha producido otras consecuencias imprevistas que, una vez conocidas, 
sean también de interés para la organización responsable del 
programa» ?. 

Desarrollando esta noción, podríamos señalar los siguientes obje- 
tivos específicos de la evaluación sistemática: 


a. Establecer el grado de pertinencia, idoneidad, 
efectividad/eficacia y eficiencia/rendimiento 
de un programa, proyecto o servicio 


Se trata de cuatro aspectos diferentes. Veamos a continuación el 
alcance de cada uno de ellos: 


e Pertinencia o propiedad: es la capacidad que tiene un 
programa o proyecto para aplicarse y resolver la 
situación-problema que le dio origen. 


Valora la adecuación y oportunidad del proyecto en 
el contexto que opera, ya sea en relación a las ne- 
cesidades humanas o demandas que debe satisfacer, 
a los problemas que debe resolver, o a criterios de 
prioridad previamente establecidos. 


e Idoneidad o suficiencia: es decir, la capacidad que 
tiene el programa o proyecto de hacer coherentes las 
actividades y tareas con las metas y objetivos propuestos. 


Se trata de explorar en qué medida los métodos y 
técnicas utilizados, y las actividades realizadas se 


+ H. Hayman; Ch. Wright: y T. Hopkins, Applications of Methods of Evaluation, 
Berkeley, Univ. of California, 1962. 
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adecuan a los objetivos y metas que se quieren al- 
canzar. Es decir, si el diseño es adecuado. 


o Efectividad o eficacia: hace referencia al grado en que 
se han conseguido las metas y objetivos propuestos 
mediante la realización de las actividades “y tareas 
programadas. Para evaluar la efectividad o eficacia, hay 
que establecer una comparación entre la calidad y 
cantidad de las actividades programadas y el tiempo 
estimado para el logro de determinadas metas y objeti- 
vos, y lo efectivamente realizado. 


Se trata de medir el producto final que resulta de 
la realización del programa o proyecto evaluado. 
Es decir, comprobar en qué medida se han produ- 
cido los efectos deseados. 


e Eficiencia o rendimiento: se trata de establecer los 
esfuerzos o insumos empleados y los resultados obte- 
nidos. Dicho en otras palabras, consiste en determinar 
el índice de productividad o rentabilidad del programa, 
relacionando: 


a. los bienes y servicios finales (resultados obtenidos) 
b. los insumos requeridos para su obtención (recur- 
sos utilizados) 


Se mide el costo que ha supuesto la consecución de 
determinados efectos, a fin de establecer el grado 
de rentabilidad o aprovechamiento de recursos, y 
estableciendo hasta qué punto los gastos se justifi- 
can por los resultados. 


b. Determinar las razones de los éxitos y tracasos 


Una investigación evaluativa no puede limitarse a establecer cuáles 
han sido los «éxitos» o «fracasos» de un programa, tiene que tratar 
de averiguar por qué se han alcanzado ciertos logros y por qué se 
han producido determinados fracasos. Ello permitirá, además, ex- 
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traer enseñanzas de la evaluación para otros programas de similar 


naturaleza. 
Esta tarea hay que realizarla básicamente a dos niveles: 


e teniendo en cuenta la situación contextual que condiciona la 
realización del programa, y 
e analizando el programa en sí. 


Con el análisis de la situación contextual es posible identificar 
las limitaciones y restricciones existentes y los factores que pueden 
favorecer la realización exitosa del programa. Esta tarea abarca di- 
ferentes aspectos, entre los cuales podemos destacar: 


— Disposiciones legales (leyes, decretos, reglamentos, estatutos, 
etc.) que pueden poner trabas burocráticas 'a la realización del 
programa. En otros casos, podrían ser disposiciones que lo 
facilitan o promueven. 

— La existencia o.no de una voluntad política de llevarlo a cabo: 
ningún programa tiene validez y operatividad en sí mismo. 
Para que sea efectivo debe contar con apoyo político en la 
institución u organización que.lo promueve. 

— Disponibilidad financiera y presupuestaria: se trata de analizár 
los medios financieros. que se pueden asignar al programa y 
que efectivamente están disponibles cuando ello es necesario. 

— Condiciones sociales y económicas (coyunturales o estructura- 
les) que influyen de tal manera que obstaculizan la realización 
de un programa, aun cuando éste haya estado bien elaborado. 

— Valores culturales o religiosos que hacen a la realización de 
determinadas actividades. 


c. Facilitar el proceso de toma de decisiones para 
mejorar y/o modificar el programa o proyecto 


Es preciso recordar, como ya se ha dicho, que la evaluación ho 
constituye una finalidad en sí misma. Su propósito primordial es el 
de ayudar al proceso de toma de decisiones técnico/administrativas 
y, en algunos casos, incluso políticas, para mejorar, modificar o su- 
primir la realización de un programa o proyecto. 
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El tipo de decisiones a las que puede contribuir la investigación 
evaluativa es un tanto variado: 


* introducir modificaciones en el proyecto que se está 
realizando, e incluso, eventualmente, podría decidirse 
la interrupción del mismo. j 

e mejorar la metodología utilizada, esto es, la práctica 
y los procedimientos empleados. 

@ modificar o innovar la estructura y/o funcionamiento 
de la organización, si en la evaluación se descubre que 
ello incide de manera muy significativa, obstaculizan- 
do la realización del programa o la prestación del ser- 
vicio. 

@ modificar la estrategia de desarrollo. 

© aumentar, mantener o disminuir las asignaciones pre- 
supuestarias del proyecto. 


d. Establecer en qué grado se han producido. otras 
consecuencias o efectos imprevistos 


Todo programa o proyecto, como es obvio, busca alcanzar determi- 
nados objetivos. Sin embargo, con su realización pueden producirse 
efectos o. resultados no previstos, 

Una investigación evaluativa debe procurar incluir el análisis de 
las „consecuencias imprevistas o no previstas, especialmente las que 
inciden en la realización del programa. Aunque también pueden in- 
teresar las que no tienen una relación directa con los objetivós o 
propósitos que se. desean alcanzar; ello dependerá del tipo de pro- 
yecto y de la naturaleza de dichos efectos. 


e. Otros objetivos que se pueden lograr 


Aunque es-un tanto ajeno a los propósitos fundamentales de la eva- 
luación de un servicio O programa específico, la realización de una 
investigación evaluativa puede permitir alcanzar otros objetivos, ade- 
más de los ya mencionados, a saber ?. í 


> C. H. Weiss, Investigación evaluativa, México, Trillas, 1978. 
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e establecer proyectos semejantes en realidades similares, 

e compatibilizar la asignación de recursos escasos o destinados 
a programas que compiten entre sí, 

e aceptar, rechazar o reajustar determinados. enfoques o meto- 
dologías de intervención social, 

O revisar críticamente los supuestos teóricos que sustentan el pro- 
grama, 

o aumentar el conocimiento acerca del problema que origina el 
programa. 


2. PRINCIPIOS INHERENTES A LA INVESTIGACIÓN EVALUATIVA 


Existe un acuerdo. bastante generalizado entre los autores preocupa- 
dos por el tema, en señalar cuáles son los requisitos o principios más 
importantes de toda evaluación que pretenda tener un carácter cien- 
tífico. Suelen resumirse en dos: validez y fiabilidad. Estos se com- 
plementan con otros dos principios de carácter práctico: utilidad y 
oportunidad. 


Principios que resultan de las exigencias del método 
científico 


a. Validez 


Se entiende que la evaluación cumple con este requisito cuando es 
capaz de revelar, de una forma demostrable y controlable, que las 
valoraciones y juicios que se han hecho son válidos. El principio de 
validez comporta la posibilidad de estimar con rigor lo que se quiere 
comprobar, excluyendo todo tipo de distorsiones sistemáticas. Y que 
los datos recopilados puedan ser utilizados para la evaluación. 

Para tener un mínimo de garantías respecto a la validez de una 
evaluación, existen diferentes modos de validación: 


e Validez derivada de la responsabilidad y preocupación por 
parte del sujeto/observador conceptuador de no introducir 
errores a causa de sus preferencias personales o de nociones 
preconcebidas. 
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e Validez pragmática: consistente en encontrar un criterio exte- 
rior al instrumento de valoración para relacionarlo con los 
juicios formulados. 

e Validez predictiva: que se comprueba con los resultados ob- 
tenidos en el futuro; el instrumento es válido en la medida: 
que permite predecir con exactitud un comportamiento ulte- 
rior. 

e Validez en cuanto que se crean las condiciones para que el 
estudio evaluativo pueda realizarse (ver requisitos previos a la 
evaluación). 

e Validez concurrente: que contrasta los resultados obtenidos 
con otros elementos de juicio y con tipos de validez pragmá- 
tica. 

e Validez estadística, asegurando validez de las posibles infe- 
rencias y la representatividad de la población escogida como 
muestra. 


Otros criterios de validez ampliamente tenidos en cuenta, parti- 
cularmente en los diseños experimentales y cuasi-experimentales, son 
los criterios valorativos propuestos por Campbell y Stanley, de va- 
lidez interna y validez externa. 


e Validez interna: es un criterio que hace referencia a la «validez 
mínima imprescindible, sin la cual es imposible interpretar el 
modelo». Consiste en tener cuenta en qué medida el grado de 
variación observado en la variable dependiente es un efecto 
generado por la variable independiente. En otras palabras, se 
trata de establecer las relaciones de tipo causal entre variables 
(ya sea existencia de covariación, antecedencia personal de lo 
que se considera como causa e inexistencia de alternativas). 

e Validez externa: es la que «plantea el interrogante de la posi- 
bilidad de generalización» *, es decir, de que los resultados 
obtenidos sean válidos en otras circunstancias, situaciones, 
contextos o unidades de análisis. 


* D. Campbell y J. Stanley, Diseños experimentales y cuasiexperimentales en la 
investigación social, Buenos Aires, Amorrortu, 1973, 
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b. Fiabilidad 


Podemos decir que una evaluación es fiable o segura cuando, apli- 
cada repetidamente y en igual situación a un mismo individuo o 
grupo, o al mismo tiempo por investigadores diferentes, proporciona 
resultados iguales o parecidos. 

Desde el punto de vista técnico el problema de la confiabilidad 
de una evaluación se presenta con relación a una serie de factores: 
los instrumentos que se utilizan, los sujetos que realizan la évalua- 
ción y la metodología utilizada, 

El uso de uno u otro tipo de instrumentos hace que la evaluación 
sea más o menos fiable. Para la determinación de la fiabilidad de los. 
instrumentos, se suelen utilizar dos medios principales: 


— el análisis de estabilidad de los resultados mediante la aplica- 


ción de medidas repetidas, y 
—-el estudio de la equivalencia de los resultados, cuando los 


instrumentos son administrados por diferentes-personas. 


Pero no basta la fiabilidad de los instrumentos: éstos están con- 
dicionados por la fiabilidad del sujeto (o sujetos) que realizan la 
evaluación y los factores personales que influyen en la lectura e 
interpretación de las observaciones. 

También hay que considerar la fiabilidad del proceso mismo de 
evaluación, del modo de realizarlo, de la metodología utilizada, y 
del modelo o diseño de evaluación empleado. No todos tienen la 
misma confiabilidad, y en cada uno de estos modelos suele variar 
según lo que se evalúa. $ 

Digamos, por último, en relación a este punto, que no puede 
haber validez sin fiabilidad, pero podría existir fiabilidad sin validez. 


Principios de carácter práctico 
a. Practicidad y utilidad 


Este principio-o criterio debe entenderse en un doble aspecto. Por 
una parte, la evaluación debe ser práctica, en el sentido que de poco 
sirve realizar una evaluación con instrumentos muy sofisticados, 
cuando lo que se pretende puede lograrse por procedimientos más 
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sencillos. Tampoco debemos olvidar que la «practicidad» de una 
evaluación viene dada por la adecuación del diseño utilizado con el 
destino que se quiere dar a las conclusiones y recomendaciones. 

Y decimos útil, porque la evaluación debe servir para mejorar el 
programa, proyecto, actividades o servicio que se está evaluando. En 
otras palabras: los resultados de la evaluación deben ser aplicables y 
utilizables por parte de quienes tienen la responsabilidad de admi- 
nistración y gestión. 


b. Oportunidad 


Es necesario no perder nunca de vista dos cuestiones que hacen a la 
oportunidad de la evaluación: 


— que se realice en un momento en el que sea posible introducir 
correctivos o modificaciones en el proceso de gestión y/o rea- 
lización de un programa o proyecto, o de introducirlos con 
la rapidez suficiente, cuando se trata de procesos muy diná- 
micos. 

— que se haga con plena aceptación de los responsables políticos, 
técnicos y administrativos que tienen facultades para tomar las 
decisiones e introducir correcciones. 


Si no se hace así se realizará un esfuerzo de escasa o nula inci- 
dencia práctica. En algunas circunstancias, porque los resultados y 
conclusiones de la evaluación ya no podrán aplicarse. Y, en otras, 
porque el trabajo servirá de muy poco, ya que no existe interés de 
tenerlo en cuenta, Para que una evaluación sea efectiva, es necesario 
que exista la voluntad política de hacerla efectiva. Lo mismo que en 
la programación, en última instancia todo depende de la decisión 
poes mucho más que de la calidad técnica del tra- 

ajo. 


3. REQUISITOS PREVIOS A LA EVALUACIÓN 


Evaluar un programa o proyecto, no es algo que se pueda hacer en 
cualquier tiempo y lugar, es decir, no es algo que se pueda llevar a 
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cabo, simplemente porque se decide hacerlo. Tienen que darse cier- 
tas condiciones y un ambiente apropiado para que la tarea de eva- 
luacion sea posible. 

Para Luque y Casquete * estos requisitos son de tres tipos: ló- 
gicos, científicos y éticos. Según Stufflebeam y Shinkfield * la eva- 
luación debe ser: útil, factible, ética y exacta. Estos y otros autores 
suelen coincidir en lo sustancial cuando hablan de requisitos o con- 
diciones previas a la evaluación, si bien algunas de sus aportaciones 
nosotros las consideraríamos más bien principios. 

Desde nuestro punto de vista, existe un requisito que está en la 
base de todo lo demás. Es el que los responsables políticos y admi- 
nistrativos de los programas «estén plenamente convencidos de que 
la evaluación es necesaria; deben estar de acuerdo sobre los propó- 
sitos de la misma; así como sobre sus aplicaciones y posibles con- 
secuencias, y deben estar enteramente comprometidos con la deci- 
sión de incluir la evaluación como parte de su programa» ?. 

Para decirlo en breve: este requisito básico condiciona la utilidad 
y viabilidad de toda evaluación. Y si una investigación evaluativa 
llegase' a realizarse sin tener en cuenta esta exigencia, apenas servirá 
para cubrir el expediente de una formalidad burocrática. 

Una vez expresada la voluntad política y administrativa de llevar 
a cabo una evaluación, hay que tomar las disposiciones pertinentes 
para que ella se haga efectiva. Los problemas de implementación que 
hay que resolver son los siguientes: 


— ¿existen los recursos para pagar los gastos que demanda rea- 
lizar una evaluación? 

— ¿quiénes serán los responsables de realizarla? 

— ¿se realizará sólo con personal de la institución, o se recurrirá 
a personal externo? 

— ¿qué equipo, consultoría o persona ajena a la institución, es 
garantía de seriedad y responsabilidad en la realización del 
trabajo de evaluación? 


5 A. Luque y A. Casquete de Prado, «La evaluación de programas de intervención 
social: criterios y. técnicas», en Revista de Treball Social, núm. 115, 1989. 

$ D. L. Stufflebeam y A. J. Shinkfield, Evaluación sistemática. Guía teórica y 
práctica, Madrid, Paidós/MEC, 1987. 

7 E. Ander-Egg, Evaluación de programas de trabajo social, Buenos Aires, Hu- 
manitas, 1984. 
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— ¿cómo «distribuir las responsabilidades cuando se integra el 
equipo por personál externo e interno? 
— ¿qué garantías existen de que las personas que deben contestar 
a las entrevistas, responder a los cuestionarios, permitir que 
observen sus tareas, etc. están dispuestos a cooperar? 
Visto el problema de la evaluación desde la perspectiva o enfoque 
del trabajo social que proponemos, un aspecto sustancial de toda 
tarea evaluativa es la de incorporar los beneficiarios o destinatarios 


de los programas. En este aspecto los problemas a resolver son de 
dos tipos: 


— ¿con qué criterios se seleccionan los usuarios o beneficiarios 
que tomarán parte de la evaluación?, y, en el caso de que 
participen todos, ¿cómo asegurar la participación efectiva de 
ellos? 

— ¿qué procedimientos se utilizarán y qué información más cua- 
lificada y utilizable pueden brindar? 


A 
O 
SSA 


El proceso de evaluación: 
cuestiones previas a tener en cuenta 


7 


1. Los actores sociales implicados en el trabajo evaluativo: 
e los responsables de la investigación evaluativa 
e los que encomiendan o encargan realizar la evaluación 
e los respondentes de la evaluación 
e los usuarios o destinatarios de los programas de acción 
social que son objeto de evaluación 


2. Las preguntas a las que debe responder la evaluación de 
programas sociales: 
e preguntas para la evaluación del diseño y conceptualiza- 
ción del programa: 
—evaluación del estudio-investigación 
—evaluación del diagnóstico 
—evaluación del diseño del programa 
e preguntas para la evaluación de la instrumentación y se- 
guimiento del programa, o evaluación del proceso: 
—evaluación de la cobertura 
—evaluación de la implementación y seguimiento 
—evaluación del rendimiento del personal 
—evaluación de la estructura y ambiente organiza- 
cional 
e preguntas para la evaluación de la eficacia y eficiencia 
del programa o evaluación de resultados y efectos: 
—evaluación de la eficacia o resultados 
—evaluación de la eficiencia o rentabilidad econó- 


dE mica | y 


En este capítulo, y antes de entrar al proceso de evaluación propia- 
mente dicho, queremos realizar algunas consideraciones, acerca de 
dos aspectos previos que serán de gran importancia por las conse- 
cuencias de tipo metodológico que pheden acarrear. Nos referimos 
a lo siguiente: 


e los actores sociales implicados en el trabajo evaluativo, 
e las preguntas a las que debe responder la evaluación 
de programas de acción social. 


La primera cuestión condiciona el proceso metodológico desde 
su inicio, ya que implica tomar decisiones acerca de quiénes parti- 
ciparán en la evaluación, quién usará los resultados, o quién deter- 
minará los aspectos del programa que serán objeto de evaluación. 
En este sentido, la concepción que se tenga sobre la participación de 
la gente en los programas de acción social, o el protagonismo que 
se le otorgue a la comunidad, los técnicos o los responsables políti- 
cos, será determinante a la hora de establecer los pasos a seguir y 
las decisiones a tomar durante el proceso de evaluación. 

El segundo aspecto relativo a las preguntas de la evaluación -tiene 
también una gran importancia, ya que de las preguntas que se se- 
leccionen dependerá el tipo de evaluación que se haga. Asimismo, 
de las preguntas a que se decida respondér, dependerán en gran 
medida las decisiones de carácter técnico y metodológico relativas al 
diseño de la investigación, los instrumentos de recogida de datos, e 
incluso el carácter o naturaleza de las recomendaciones al programa 
que se harán como resultado de la evaluación. 


1. LOS ACTORES SOCIALES IMPLICADOS EN EL TRABAJO 
EVALUATIVO a 


Hasta aquí hemos analizado la noción de evaluación (en sentido lato 
y en sentido estricto), y los tipos de evaluación. Ahora, realizaremos 
algunas consideraciones sobre aqúellos que deben intervenir en el 
proceso de investigación evaluativa, como «actores sociales» impli- 
cados en el mismo. O, dicho en otros términos, examinaremos los 
distintos intereses y racionalidades que participan del trabajo evalua- 
tivo, en tanto que poseen un determinado grado de «preocupación 
por el resultado de la acción» * 

Desde la concepción, perspectiva o enfoque evaluativo que pro- 
ponemos surge la necesidad de la intervención activa de cuatro ac- 
tores principales: 


e los responsables de la investigación evaluativa; 

e los que encomiendan o encargan realizar la evaluación; 

e los respondentes de la evaluación; 

e los usuarios, beneficiarios o destinatarios de los programas, 
proyectos, servicios o actividades que se evalúan. 


Veamos algunas de las cuestiones más significativas que conviene 
tener presente en relación a los actores sociales implicados en una 
investigación evaluativa. 


Los responsables de la investigación evaluativa 


En algún caso podría ser una pérsona, pero lo normal (y más reco- 
mendable por otra parte) es que se trate de un equipo de investiga- 
ción en el que se distribuyen las diferentes tareas: 


e Director de la investigación, responsable de las tareas de coor- 
dinación del equipo y de la gestión administrativa. 
e Investigadores, cuyo número variará de acuerdo a la amplitud 


1 J, Medina Echavarría, La planeación en las formas de la racionalidad, Santiago 
de Chile, Cuadernos del ILPES, 1972. 
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de la investigación. Es conveniente y recomendable que algu- 
no de ellos sea experto en diseño evaluativo. 

e Ayudantes de investigación, es decir, los responsables de re- 
coger la información, organizar la documentación, hacer en- 
trevistas, etcétera. 

e Especialistas: en algunos casos —según la índole del aspecto 
del programa que se evalúa— será necesario recurrir a espe- 
cialistas en un determinado campo, y que podrían no ser in- 
vestigadores sociales. 


Los que encomiendan o encargan realizar 
la evaluación 


Se trata de aquellos que, teniendo poder de decisión dentro de una 
institución: u organización, han demandado la realización de la eva- 
luación. En este punto, y ateniéndonos a su poder de decisión, se 
pueden “distinguir dos grandes categorías de clientes/demandan- 
tes/destinatarios: 


o Los políticos: que son responsables de la toma final de deci- 
siones, de la fijación de los fines del sistema organizacional ?, 
así como la formulación de los grandes objetivos de las po- 
líticas y la asignación presupuestaria. Sus intereses y preo- 
cupaciones conllevan la solución de problemas y organizar/ 
mantener canales eficaces para que se tomen las decisiones 
encaminadas a ello. Por tanto, su interés se centra en lograr 
situaciones supuestamente mejores y «negociar». O, dicho con 
palabras de Medina Echavarría: «el dominio respectivo de la 
estrategia y de la creación de políticas» ?. 

e Los técnicos. En esta categoría pueden incluirse los burócra- 
tas, cuya racionalidad se centra en los procedimientos, en la 
aplicación de normas y en la competencia legal *. Sin embargo, 


2 Bajo la expresión «sistema organizacional» englobamos todo tipo de organiza- 
ción social, política, cultural y/o económica; pública o. no gubernamental; grande o 
pequeña; que sea susceptible de implementar servicios o programas sociales que pue- 
dan ser objeto de evaluación. 

3 J. Medina Echavarría, ob. cit. 

4 E..Cohen y R. Franco, Evaluación. de proyectos sociales, Buenos Aires, Grupo 
Editor Latinoamericano, 1988. 3 
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al hacer referencia a los técnicos que pueden encargar la eva- 
luación —y que suelen orientarse por la racionalidad de los 
fines—, generalmente se alude a aquellos encargados de llevar 
a cabo las políticas decididas; siendo su campo de acción el 
de-los medios e instrumentos, razón por la cual su tarea es (o 
debiera ser) orientada por la «racionalidad tecnológica». - 


Ahora bien, dentro de la categoría de los técnicos conviene 
distinguir -—como hace Espinoza Vergara— tres tipos o niveles 
distintos: 


e «Los directivos superiores, a quienes corresponde 
adoptar las políticas institucionales. Su interés en los 
resultados de una evaluación podría estar centrado en 
el deseo de ampliar, reducir o cambiar un proyecto. 

e Los directivos medios y administradores, a quienes 
corresponde tomar decisiones sobre los insumos que 
se utilizan en la ejecución de las actividades institu- 
cionales. Su interés en la evaluación podría nacer de 
la intención de introducir modificaciones én la utili- 
zación de los insumos. 

e Los técnicos y ejecutores del proyecto, a quienes co- 
rresponde sugerir decisiones metodológicas, técnicas 
y Operativas y ejecutar las decisiones adoptadas. Su 
interés en los resultados podría basarse en su deseo de 
mejorar las condiciones técnico-metodológicas del 
proyecto» *. 


Con respecto a estos actores sociales, y en este caso concreto los 
que pueden encargar la evaluación, es necesario tener presente los 
conflictos de roles que producen las diferentes racionalidades, y so- 
bre todo, los distintos intereses implicados en la decisión, diseño y 
ejecución de servicios y/o programas sociales. En este sentido, las 
consideraciones y advertencias de Cohen y Franco é que comenta- 
mos a continuación nos parecen sumamente útiles: así, la actuación 


5 M. Espinoza Vergara, Evaluación de. proyectos sociales, San José de Costa Rica, 
Ministerio de Cultura, 1980. 
$ E. Cohen y R. Franco, ob. cit. 
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de los políticos responde a las demandas y no a las necesidades ”*, 
y obedecen más a las presiones de aquellos grupos que se organizan 
para defender sus intereses: Los burócratas, por su parte, persiguen 
objetivos de supervivencia, estabilidad, poder y crecimiento 9, y los 
administradores el incremento de los recursos para su organización 
o departamento, ya que mayores recursos se traducen en mayor 
poder 1. Esta observación también puede aplicarse a los profesio- 
nales y científicos, especialmente cuando tienen a su cargo tareas de 
gestión administrativa, 

Los diferentes intereses conducen a un conflicto de roles a los 
que, con frecuencia, debe enfrentarse el evaluador. Ello tiene impli- 
caciones muy yariadas, que van desde la «adecuación de los tiempos 
de evaluación» hasta la necesidad de comprender y compatibilizar 
los distintos roles. 


Los respondentes de la evaluación 


Son aquellos que, perteneciendo a la institución, organización O ser- 
vicio objeto de evaluación, responden a los requerimientos de infor- 
mación solicitados por los investigadores. Se trata de las personas 
que contestan las preguntas de las entrevistas, rellenan los cuestio- 
narios y, en algunos casos, aceptan que se observe su trabajo. 


7 A. L. Delbeck y S. L. Gill, «Political Decision-Making and Program Move- 
ment», en R. F. Rich (comp.), Translating Evaluation into Policy, Beverly Hills, Sage, 
1979. 

8 Sobre esta afirmación, convendría no ser tan tajante, ya que el debate sobre el 
concepto y formas de determinar las necesidades sociales no ha sido resuelto de forma 
aceptada generalmente. Así, la clasificación de Bradshaw nos parece esclarecedora en 
este punto: cuando él habla de «necesidades expresadas» hace referencia a aquellas 
necesidades que se traducen en demandas, por lo que la afirmación de Delbeck y Gill 
no podemos suscribirla sin estos matices. (Sobre necesidades sociales y sus distintas 
clasificaciones puede consultarse: J. Bradshaw, «The concept of social need», New 
Society, núm. 30, 1972 —existe traducción catalana de 1983, publicada por la D.G.S.S. 
de la Generalitat de Catalunya—; A. Martínez Moreno, «Aproximació al concepte 
operatiu de necessitat social», en RTS, núm. 116, 1989; R. Kaufman, Identificación y 
resolución de problemas. Un enfoque de sistemas, México, Trillas, 1988; Martí-Costa 
y Serrano García, «Needs Assessment and Comunity Development: An Ideological 
Perspective», en Prevention in Human Services, núm. 3, 1983; B. R. Witkin, «Need- 
assessment Kits, Models and Tools», en Evaluations Thechnology, núm. 17, 1977.) 

2 D. K. Banner, S: I. Doctors y A. C. Gordon, The Politics of Social Program 
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Como es obvio, de ellos dependen las posibilidades de realizar 
la evaluación y, en buena parte, el nivel de calidad del trabajo a 
realizar. Cuando los respondentes son los técnicos ejecutores del 
programa, hay que tener en cuenta sus intereses y roles, a fin de no 
agudizar un posible conflicto y lograr su colaboración/ aportación de 
la manera más válida y fiable posible. Si, además, son parte solici- 
tante de la evaluación, habrá que realizar con sumo cuidado las com- 
probaciones y contrastaciones pertinentes. 


Los usuarios o destinatarios de los programas 
de acción social que son objeto de evaluación 


Sòn dos los motivos o razones que indican la conveniencia y nece- 
sidad de implicar a estos actores sociales dentro del proceso de eva- 
luación. En primer lugar, un programa podría alcanzar sus objetivos. 
utilizar procedimientos adecuados y haber logrado una buena im- 
plementación, pero sus resultados efectivos (satisfacer las necesida- 
des o resolver los problemas de un grupo de personas) podrían no 
haberse alcanzado, puesto que no se ha transformado o cambiado la 
situación-problema que ha dado origen al programa. 

Todo esto conduce a la necesidad de intervención de los mismos 
usuarios o beneficiarios. La falta de aceptación de los mismos, reve- 
laría que no se han tenido en cuenta sus aspiraciones centros de 
interés, necesidades y problemas que son significativos para ellos 

Estos actores sociales son tanto más importantes, cuanto mayor 
sea la importanciaque se otorga a la participación de la gente. Un 
programa que utiliza una metodología de intervención social parti- 
cipativa, rio puede dejar de incluir a los usuarios y de darle prota- 
gonismo en la tarea de evaluar. d 

En segundo lugar, es conveniente implicar a los usuarios (o re- 
preséntantes de los usuarios) en el trabajo evaluativo, porque sus 
perspectivas y concepción de la evaluación enriquecerán las dimen- 
siones de la misma, aportando nuevos aspectos o nuevas utilidades 
Y, en lo posible, considerar la participación tanto de los usuarios 
reales como“de los usuarios potenciales, o los ciudadanos en general 

Sin embargo, debemos señalar que, en cuanto actores sociales 


Evaluation, Cambridge (Mass.), Ballinger Pub., 1975. 


que res i isti 
10 A. L. Delbeck y S. L. Gill, ob. cit. que ponden A IMISTESES, distintos y a veces contrapuestos, la par- 


ticipación de los usuarios en el proceso evaluativo suele presentar 


a 


ia 


da 
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bastantes resistencias !!. Ahora bien, desde la perspectiva metodoló- 
gica en que nos situamos, la participación efectiva de los usuarios y 
ciudadanos tiene una importancia fundamental. Afirmar lo contrario 
o ceder a las resistencias convencionales sería contradecir gravemente 
todo lo sostenido hasta ahora por nosotros en materia de acción 
social, de trabajo social, animación socio-cultural y pedagogía. 


Por último, para terminar este parágrafo, queremos siali la 
gran dificultad que suele entrañar el trabajo evaluativo, en Jo que a 
conflictos de intereses —entre evaluadores y el resto de los actores 
sociales— se refiere. Por un-lado, los evaluadores pueden yers: en- 
frentados a los gestores/administradores si éstos perciben que la eva- 
luación dificultará sus objetivos, tendentes a obtener mayo ESN 
sos (y por ende, más poder). Si los resultados de la ev vaan pon i 
de manifiesto una mala implementación y ejecución i program 
igualmente habrá un conflicto potencial. En el casó p re anione 
entre evaluadorės y políticos, a veces suelen darse alianzas. Sobre 
todo cuando se encarga la evaluación para «tener fundamentos» e 
los que apoyar una reducción de personal, ra Sea 
otros casos, porque quieren emplear los resultados e la # pi Sn 
con fines políticos. Ẹn estas circunstancias, con paa Se 
el trabajo evaluativo realizado termina siendo un tipo de pse 
a estas y Otras razones que la tarea evaluadora no suele se 
lo frecuente que debiera. Asimismo, la posibilidad de sentar on 
flictos en el seno de una organización o con los niveles políticos ES 
decisión, la convierte en algo «potencialmente paierosor Y Eras T 
hecho, pueda no oral a quienes serían los principales destin: 

1 ilizadores de la misma. : 
ua experiencia eri este campo nos ha revelado que as 
interés que manifiestan los responsables de los Maneno e as 
tos Sociales o Bienestar Social (o como se llamen en erentes me 
ses) es porque una evaluación bien hecha, dada la característica 


11 El hecho de que la bibliografía especializada no pao pa spinli 
zada la participación de los usuarios de los programas, pio ponia rama nesa 
de ello. Así, por ejemplo, considerando los libros en castellano, s gd aa 

Shinkfield, y el de Cohen y Franco hablan de los actores ar les, A ningas Pd 
ales hace referenciza los-usuarios/destinatarios de los programas objeto 
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veces vaga y vaporosa de ciertos programas, es peligrosa. Y lo es por 
varias razones: porque en algunos casos pondría de manifiesto ma- 
nejos financieros contables posibles de sanción penal; en otros casos, 
revelaría el manejo discrecional y arbitrario de determinados fondos 
presupuestarios, ya sea con propósitos puramente electoralistas o 
por razones de simple amiguismo. Y lo que es muy común en la po- 
lítica social, es el llevar a cabo políticas populistas que dan res- 
puesta a problemas coyunturales pero que, a largo plazo, terminan 
por distorsionar la propia política social. 

Una forma —bastamte útil, por cierto— de resolver estos pro- 
blemas, es la que propone Patton cuando habla de la ya mencionada 
«evaluación centrada en la utilización». Según esta perspectiva, los 
destinatarios o utilizadores eventuales o posibles de los resultados 
de la evaluación, deben participar en todas las etapas del proceso de 
evaluación (definición, metadología, resultados, etc.). Como es 
lógico, todo dependerá de los utilizadores, y como el proceso de 
evaluación (como toda investigación social) se sitúa en un contexto 
ideológico, organizacional y sociopolítico definido, el papel del eva- 
luador nunca puede ser neutro !?. En la mayor parte de las situa- 
ciones, sus propios valores se confrontan con los de los utilizadores 
de la evaluación. 

Sin embargo, como muy bien señalan Deniston y Rosenstock *?, 
no siempre es fácil conciliar los diferentes puntos de vista de las 
personas que intervienen en el proceso evaluativo. Por ello, una orien- 
tación demasiado centrada en los utilizadores, tal y como Patton 
propone, puede tener dificultades para ponderar equitativamente las 
distintas posiciones. No debemos olvidar que, generalmente, suele 
ser dominante el punto de vista de aquel que paga la evaluación. Por 
esta razón, creemos que es útil proponer que la responsabilidad de 
la evaluación se asuma por personás diferentes, en función del ele- 
mento, aspecto o área del programa que se pretende evaluar, y según 
la meta perseguida por la evaluación. «Así, para una evaluación su- 
mativa, es decir, dirigida a determinar los efectos de un programa, 


el lugar del investigador, externo a los procesos de implantación, es 


12 Como ya se ha desarrollado en otros trabajos, la pretendida neutralidad valo- 
rativa de la acción social (ya sea ésta investigadora, planificadora, ejecutora o evalua- 
dora) no existe. (Véase L. Goldmann, Las ciencias humanas y la filosofía, y E. An- 
der-Egg, Ideología, política y trabajo social, Buenos Aires, Humanitas, 1985.) 


1 O. L. Deniston y 1. M. Rosenstock, «Evaluating Health Programs», en Public 
Health Report, vol. 85, núm. 9, 1970. 
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preponderante: Por otra parte, en el momento de la implantación 
del programa, cuándo la investigación formativa es particularmente 
apropiada, la contribución de las personas responsables de la implan- 
tación del programa es: esencial. La dosificación entre las contribu- 
ciones de las personas que participan en la implantación y de las 
responsables de la evaluación se basa en cuestiones -de juicio y en 
consideraciones de orden metodológico y práctico» '*. A esta opi- 
nión, que compartimos plenamente, sólo le agregaríamos la conve- 
niencia que antes mencionábamos, de «contemplar la participación de 
lós usuarios/ciudadanos a los que se dirige la intervención social, 
objeto de evaluación. 


2. LAS PREGUNTAS A LAS QUE DEBE RESPONDER LA EVALUACIÓN 
DE PROGRAMAS SOCIALES 


La investigación evaluativa, cualquiera sea su naturaleza, trata siem- 
pre de responder a ciertas preguntas, buscando con su respuesta 
enjuiciar y valorar los aspectos del programa que son objeto de eva- 
luación. Dependiendo de las preguntas a que trate de responder la 
evaluación, nos encontraremos frente a un tipo u otro de investiga- 
ción evaluativa. 

A continuación presentamos un listado de las preguntas más fre- 
cuentes que se pueden responder, sin que esto signifique que con la 
evaluación deban responderse todas. En la práctica, una de las prin- 
cipales tareas que debe realizar el evaluador es seleccionar las. pre- 
guntas a las que se quiere responder, Nunca, por amplia que sea la 
investigación evaluativa, se puede responder todo. Ello supondría un 
costo y un esfuerzo difícilmente justificable y útil. 

Para facilitar y ayudar a una mejor comprensión de este punto, 
dividimos las preguntas en grupos y subgrupos, atendiendo al tipo 
de evaluación de que se trate; siguiendo la clasificación que-propu- 
simos al finalizar el capítulo primero. Es decir, considerando los 
aspectos fundamentales del programa que serán objeto de evalua- 
ción 9. 


1% R, Pineault y C. Daveluy, La planificación sanitaria. Conceptos, métodos, es- 
trategías, Barcelona, Masson, 1987. 

15 El listado que se presenta no pretende ser exhaustivo; por el contrario, hemos 
optado por no abundar en preguntas y centrarnos sólo en aquellas que suelen for- 
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a. Preguntas para la evaluación del diseño 
y conceptualización del programa 


Evaluación del estudio-investigación 


o y delimitó claramente el objetivo de la investigación de 
a situación-problema que es origen del programa? 


¿Desde qué marco teórico-referencial se realizó el estudio? 
¿Fue adecuado el diseño de la investigación? 

¿Fue claramente delimitada la población o universo a estudiar? 
¿Fueron adecuados los procedimientos de muestreo? 


¿Los instrumentos de investigación fueron adecuados a lo que se 
quería estudiar? 


¿Qué validez ha tenido el trabajo de investigación sobre terreno? 


¿Cómo se realizó el análisis? ¿Fu i jeti 
¿ 10 se ? ¿Fue apropiado a los obje: 
Investigación? dá asis 


¿Las conclusiones son congruentes con los datos obtenidos? 


Evaluación del diagnóstico 

¿Se ha establecid larid i 

¿ ecido con claridad la natural: 

blemas y necesidades? ATE pra a 198 pig 


¿Se h ido-cuá ó 
o cia cuál es el volumen del problema y dónde se en- 


¿Se h: j á 
; de a Sarment cuál es el alcance del problema y la 
e la población-objetivo o potencialmente usuaria? 


¿Se ha realizado. un pronóstico realista? 
¿Se encuentra adecuadamente conceptualizado el problema social? 
mularse con más frecuencia. Un listado de más de 300 preguntas puede encontrarse 


en J. A. King, L. L. Morris y C. T. Fitz-Ġibbon, How imple 
tation, Newbury Park, Sage, 1987. í as ed 
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¿Se han jerarquizado las ¡necesidades y problemas? 


¿Se han tenido «en cuenta los factores contextuales: más significativos 
que actúan como condicionantes para superar la situación-problema 
que origina la necesidad del programa o intervención .concreta? 


¿Se ha efectuado un análisis «de viabilidad «política de las posibles 
intervenciones? 


¿Se ha elaborado iun inventario de recursoscdisponibles? 
¿Se ha establecido un perfil del usuario o beneficiario? 
¿Puede hacerse algo:para. resolver el problema? 


¿Funcionará un; programa de'intervención determinado:en-condicio- 
nes óptimas? 


¿Puede lograrse quewun;programa funcione:en un contexto-determi- 
nado? 


Evaluación del diseño del programa 


¿Está diseñado el programarpara lograr los objetivos propuestos? 
¿Subyace: una base lógica en:él programa? 

¿Será eficiente un programa: determinado? ¿Y eficaz? 

¿Cuál es la relación prevista: entre.costos y beneficios? 


¿Se han maximizado las. posibilidades de que el programa llegue sin 
problemas a los usuarios o-beneficiarios potenciales? 


¿Existe coherencia entre.el programa elaborado y los resultados del 
diagnóstico? ¿Responde el programa a las necesidades y. problemas 
detectados en el diagnóstico? 


¿Qué relación tiene el programa con la política general de la institu- 
ción? 


¿Se han fijado objetivos-y metas a corto, medio y largo plazo? 


¿Responden los objetivos y metas a las necesidades y problemas 
detectados? 


¿En qué medida «lo programado» ayudará a resolver, de una forma 
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significativa, el problema o necesidad para cuya superación se ha 
elaborado el programa? 

¿Se han relacionado las actividades. con los objetivos y las metas? 
¿Se las ha relacionado. con la solución de los problemas? 


¿El enunciado de las actividades está categorizado y están conectadas 
entre sí? 


¿Se ha especificado un calendario de ejecución? 


¿Se han previsto recursos suficientes, y en tiempo oportuno, para 
alcanzar los objetivos y metas propuestas? 


¿Existe correlación entre la finalidad o impacto esperado, los obje- 
tivos y metas propuestas y los productos que serán resultado inme- 
diato de las actividades? 


¿Qué respaldo real tiene el programa por parte de los directivos 
políticos y técnicos de la institución? 


¿Se ha realizado una adecuada estructura financiera y calendario fi- 
nanciero del programa? 


¿Se han tenido en cuenta los factores externos o pre-requisitos de 
éxito del programa? ¿Éstos son realistas? ¿Son viables y factibles? 
¿Son completos? 


¿Se ha previsto una estructura de gestión del programa? 


¿Se han especificado en el diseño del programa los indicadores de 
evaluación de resultados y las fuentes y medios de comprobación 
de dichos indicadores? 


b. Preguntas para la evaluación 
de la instrumentación y seguimiento 
del programa, o evaluación del proceso 


Evaluación de la cobertura 


¿Llega el programa a la población objeto del mismo? 


¿Llega realmente el programa al segmento o grupo de población que 
se desea que sea su destinatario? 
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¿Cuál es el grado de utilización de los servicios y el perfi! del usuario? 
¿Existe infracobertura o sobrecobertura? ¿Por qué? 


¿Existe conocimiento, accesibilidad y aceptación del programa por 
parte de los usuarios potenciales y: reales? 


¿Cuál es el grado de participación de la gente en el programa? 


Evaluación de la implementación y seguimiento 


¿Se implementa el programa como estaba previsto en el diseño? 


¿Se están llevando a cabo los esfuerzos de intervención en la forma 
indicada en el diseño del programa? ¿Se realizan las actividades y 
tareas del modo previsto? 


¿Se han realizado las tareas de preparación y motivación necesarias 
para crear un clima favorable a la implantación del programa? 


¿Cuál es la disponibilidad real de recursos para la ejecución e im- 
plementación del programa? 


¿Existe un adecuado sistema de control operacional sobre la marcha 
del programa? 


¿Existe un adecuado sistema de información para el seguimiento del 
programa? 


¿Cuáles son los costos de funcionamiento del programa? 
¿Se están utilizando adecuadamente los recursos? 


¿Los procedimientos utilizados son acordes a los objetivos que se 
persiguen? ¿Facilitan la consecución de los mismos? 


¿Los procedimientos utilizados son oportunos desde el punto de 
vista político, económico, social, cultural y/o institucional? 


¿El programa tiene una coordinación adecuada dentro y fuera de la 
organización que lo promueve? 
Evaluación del rendimiento del personal 


¿Cuál es la aptitud y habilidad del personal en la aplicación de téc- 
nicas y procedimientos a las tareas y actividades propias de su trabajo? 
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¿Cuáles son las actitudes y motivaciones para realizar responsable- 
mente el trabajo? 


¿Lo que hacen los responsables de la dirección, los cuadros medios 
y los ejecutores del programa corresponde con lo establecido en el 
«análisis de puestos», «manual de organización» o «manual de proce- 
dimientos»? ` 


¿La competencia profesional del personal del programa se ajusta a 
los estándares de calidad exigidos? 


¿Cuál es la capacidad que tiene el personal para organizar el trabajo 
y resolver problemas? 


¿El personal posee los conocimientos y habilidades necesarias para 
el correcto desarrollo de las funciones a su cargo? ¿Y las aptitudes? 


¿El personal desarrolla sus funciones y actividades en los tiempos 
oportunos? Si emplea más tiempo del necesario ¿Por qué? 


¿Cuál es el nivel de satisfacción del personal del programa? 


¿Existen incentivos para el personal? ¿De qué tipo y con qué efectos? 


Evaluación de la estructura y ambiente organizacional 


¿La estructura organizativa de la institución contribuye o perjudica 
el desarrollo del programa? 


¿El estilo de dirección y los mecanismos de toma de decisiones son 
coherentes con los objetivos del programa? ¿Son los más adecuados 
para el-logro de los objetivos previstos? 


¿La naturaleza y contenido de las comunicaciones internas del pro- 
grama se adaptan a las necesidades de gestión del mismo? ¿Son ex- 
cesivas O escasas? 


¿Cuál es el clima y nivel de satisfacción existente en el seno de la 
organización? ¿Qué relación. existe con el rendimiento del personal? 


¿La organización de los recursos humanos, técnicos y materiales es 
adecuada y útil para la prestación de servicios que se persigue? 


¿Los sistemas de supervisión del personal son adecuados? 


74 M- José Aguilar y Ezequiel Ander-Egg 


¿Las modalidades de coordinación permiten articular adecuadamen- 
te las actividades de las diferentes personas implicadas en la realiza- 
:ción del programa o en la prestación «del servicio? 


c. Preguntas para la evaluación de la eficacia 
y eficiencia del programa o evaluación 
de resultados y «efectos 


“Evaluación de resultados :o evaluación de la eficacia 
del programa 


: ¿Es efectivo el ¡programa -en lo referente a la consecución de los 
objetivos que se ¡persiguen? 


¿Cómo se ha modificado 'la situación de los usuarios o beneficiarios 
con el programa? 


¿Las acciones realizadas 'han sido útiles, beneficiosas o nocivas? 


¿Se pueden deber'los:resultados del programa a procesos alternativos 
exógenos al mismo? 


¿Qué resultados .o efectos no previstos han surgido como conse- 
cuencia de la ejecución .del programa? 


¿Cuál es la opiriión de los-'usuarios y no usuarios-acerca del programa? 


¿Cuál es el nivel de implantación del programa en el contexto social 
en que se ejecuta? 


¿Hay un grado de aceptación y participación social aceptable? 


¿En qué ha cambiado la situación-problema que dio origen al pro- 
gramá, como consecuencia de-su realización? 


Evaluación de la eficiencia o evaluación de la rentabilidad 
económica del programa 
¿Qué costos se proyectaron y qué costos se han-producido realmente? 


¿Cuáles son los costos de que los servicios y beneficios del programa 
lleguen a sus usuarios potenciales? 
gu P 
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¿Existe un uso-eficiente de los recursos asignados sal programa si se 
„compara con otros usos alternativos? 


-¿Cuál es la relación existente entre los :resúltados/finales y el esfuer- 


-zo realizado en términos de dinero, recursos y "tiempo? 
:¿Cuál es la productividad o rendimiento del programa, o relación 
entre insumos y productos? 
¿Cuál es larrelación del trabajo, el "tiempo, larproductividad y cel 
costo del programa? 
¿Cuál es:la:relación entre costos yresultados efectivos? 
¿Pódríanialcanzarse los mismos:resultados de:una manera más econó- 
mica? 


o 


El proceso de evaluación: aspectos claves 
desde el punto de vista metodológico 


(as tareas preliminares N 


1. Las negociaciones entre los que encomiendan la evaluación y 
el equipo de evaluación. 

2. Respuesta preliminar a cuestiones que condicionarán el diseño 
de la investigación evaluativa. 


Elaboración del diseño de la investigación 


3. Formulación del marco de referencia, escenario o encuadre: 
a. Delimitar el para qué de la investigación. 
b. Determinación e identificación de los aspectos que serán 
evaluados (tipo de evaluación). 
4. Selección de la estrategia metodológica y de los procedimien- 
tos técnicos que serán utilizados en la recopilación de los datos. 
5. Selección de variables y elaboración de indicadores. 


Trabajo de campo 
6. Recopilación de datos e información. 


Elaboración y presentación de resultados 


7. Elaboración de la información. 

$. Análisis e interpretación de los resultados. 

9. Discusión de los resultados. Formulación de conclusiones y re- 
comendaciones. 


La aplicación de los resultados de la evaluación 
10. La adopción de decisiones; aplicación de las recomendaciones. 


Anexo: Algunas propuestas concretas de indicadores de evalua- 
C ción en servicios sociales y atención primaria en salde’ 


Siendo: la evaluación una forma de investigación, resulta obvio que 
su procedimiento general se ha:de arener a los requisitos del método 
científico, es decir, a una serie de pasos que se deben dar de forma 
sistemática y organizada, con el fin de obtener un resultado. En el 
casa de la evaluación se trata-de un proceso centrado en el enjuicia- 
miento de procesos y de resultados de lo que se ha hecho, se está 
realizando o se va a realizar, valorándolo y apreciándolo (cuantita- 
tiva y/o cualitativamente). 

Digamos como punto de partida o cuestión básica, que todo 
proceso de evaluación realizado con rigor metodológico, sigue los 
lineamientos generales de la investigación social. Dicho en otros tér- 
minos: las fases generales del proceso de investigación se aplican a 
la evaluación que, en última instancia, no es otra cosa que una forma 
de investigación aplicada *, 

Conforme a esto, vamos a ir desarrollando las principales fases 
del proceso evaluativo. Se trata de explicar los diferentes pasos y 
tareas que implica la realización de una investigación evaluativa. De 
ordinario, este proceso comporta cuatro grandes fases: 


— las tareas preliminares, 

— el diseño de la investigación, 

— el trabajo de campo, 

— la elaboración y la presentación de resultados. 


1 En este capítulo sólo desarrollaremos los aspectos y cuestiones metodológicas 
de la investigación evaluativa en lo que tiene de diferente con una investigación social 
de otro tipo. Así, por ejemplo, la construcción de instrumentos de medida, el trabajo 
de campo o el análisis de los datas, se hacen como en cualquier otro tipo de inves- 
tigación social, razón por la cual no se hace un desarrollo de estas tareas. 


LAS TAREAS PRELIMINARES 


El proceso de realización de una evaluación conlleva-el tratamiento 
y resolución de dos cuestiones previas: 


e las negociaciones preliminares entre los que encomiendan la: 
evaluación y el equipo que la realizará, 

8 respuesta preliminar a cuestiones que condicionarán el diseño 
de la investigación evaluativa. 


1. Las negociaciones entre los que encomiendan 
la evaluación y el equipo de evaluación 


Realizar una investigación evaluativa no es una cuestión puramente 
técnica o metodológica que pueda decidir un grupo de especialistas 
por sí mismo. Prácticamente todas las investigaciones evaluativas son 
encargadas por «alguien» para «algo». Esto supone negociaciones 
entre los'que contratan la investigación (futuros usuarios de sus 
resultados) y el equipo de investigación que la realizará. Estas ne- 
gociaciones tienen como propósito principal especificar el tema con- 
creto de evaluación, compatibilizando lo que quiere la parte con- 
tratante con lo que el equipo técnico indicará qué es posible hacer 
en las circunstancias concretas que permiten establecer qué se va a 
estudiar, para qué, cuánto y con qué profundidad. 

Esto supone ir explorando y esbozando el trabajo evaluativo, 
mediante una serie de aproximaciones sucesivas que se deciden en 
negociaciones entre los que encargan la evaluación y el equipo que 
realizará la investigación. Como advierte Alvira, esta «fase es esen- 
cialmente delicada, por cuanto los intereses pueden ser contradicto- 
rios y, además, pueden no aparecer nunca en la superficie los dife- 
rentes intereses y verdaderos objetivos. Así, es normal que: 


— se intente fijar la atención del estudio en la “superficie” del 
programa para que parezca bueno; 

— se intente tapar los fallos del programa durante la investigación; 

— se use la investigación para destruir un programa; 

— no se haga caso del estudio, se haga como un rito; 
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— se use el estudio para posponer cambios o acciones dentro del 


programa» ?. 


En estas negociaciones hay que conciliar o compatibilizar las de- 
mandas y situaciones concretas de quienes contratan la evaluación 
(considerando todos los intereses en juego de los actores sociales 
implicados); con las exigencias de una investigación que, por ser tal, 
debe atenerse a las exigencias y requerimientos del método científico. 

Hay dos cuestiones básicas que se deben dilucidar en esta fase 
del trabajo: 


a. Delimitación conceptual de los aspectos a estudiar. Se trata 
de especificar con la mayor claridad posible qué y cuánto 
hay que evaluar y la finalidad de la evaluación, conforme a 
lo que piensan o quieren los usuarios, es decir, las personas 
que contratan o encargan el trabajo. Frente a esta demanda 
los investigadores harán conocer sus puntos de vista técnicos 
y metodológicos. 

b. Determinación de los recursos con que se cuenta para reali- 
zar la investigación. 


a. Delimitación conceptual de los aspectos a estudiar 


Ésta es la principal tarea que deben realizar conjuntamente los que 
encomiendan el trabajo y el equipo técnico. La delimitación concep- 
tual consiste en establecer, de la manera más precisa posible, cuáles 
son los alcances y propósitos de la evaluación y cuáles son los com- 
ponentes o aspectos que se van a evaluar. No se trata de una for- 
mulación acabada, sino de una propuesta lo más completa posible. 

Esta tarea, aparentemente simple, es algo más que unas negocia- 
ciones para la firma de un contrato de trabajo. Hay que tratar y 
dilucidar cuatro cuestiones principales: 


$ proporcionar un perfil lo más claro posible del programa o 
servicio que se va a evaluar, 


2 F. Alvira, Metodología de la evaluación de programas, Madrid, Centro de In- 
vestigaciones Sociológicas, 1991. 
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e delimitar el nivel organizacional en el que se va a hacer la 
evaluación, 

e especificar qué se va a evaluar, 

e determinar el para qué de la investigación. 


En esta primera tarea, previa a la investigación evaluativa, 
conviene seguir un procedimiento de aproximaciones sucesivas. De 
ordinario supone o requiere de más de una reunión de trabajo y 
tratativas. 


Establecer un perfil lo más claro posible del programa 
o servicio que se va a evaluar 


A veces se pide evaluar un programa o servicio, pero al momento 
de iniciar estas tratativas preliminares, nos encontramos con que no 
existen. elementos para formular un marco de evaluación con los 
referentes principales, con la situación desde la cual se ha partido y 
la situación en la «que se está» y se quiere evaluar. 

En la práctica, no siempre está claramente establecida ni la situa- 
ción inicial, ni la situación de llegada. Aquí se confronta una de las 
primeras dificultades para casi todas las investigaciones evaluativas: 
los objetivos de los programas o proyectos suelen ser vagos, impre- 
cisos o formulados de una manera demasiado general. He aquí al- 
gunos ejemplos de lo que son estas formulaciones vagas e impreci- 
sas: «disminuir el analfabetismo», «aumentar el consumo colectivo», 
«promover la acción comunitaria», «elevar el nivel de conciencia de 
la gente», «reducir el nivel de desempleo», «atender a los disminui- 
dos físicos, psíquicos y sensoriales», etcétera, 

Otras veces, se solicita evaluar un programa, pero nos encontra- 
mos con que se han establecido las actividades a realizar, sin que se 
hayan determinado los objetivos de una manera clara y precisa. Se 
actúa como si el valor de las actividades fuese evidente por ellas 
mismas. De ahí que una de las primeras tareas del evaluador (cuando 
se presentan esas circunstancias), sea tratar de especificar lo que qui- 
zás sólo está expresado como «vagas intencionalidades»: Para ello, 
y con el propósito de reconstruir lo que puede servir como marco 
referencial, conviene encontrar respuesta a las siguientes cuestiones 
relativas al programa o servicio que se quiere evaluar: 


— qué es lo que se desea obtener con la realización del programa 
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o con la prestación del servicio que se va a evaluar; se trata 
de establecer cuál es la naturaleza de la situación deseada o 
esperada (objetivos); 

— grado o cantidad de la condición a ser lograda (metas); 

— quiénes constituyen el sector de población beneficiaria del pro- 
grama (destinatarios o usuarios); 

— dónde: qué área geográfica abarca la realización del programa 
(cobertura espacial); 

— cómo se realiza y qué procedimientos se utilizan (métodos y 
actividades a realizar); 

— cuáles son los componentes del programa; 

— cuándo se realiza, en lo posible —si la índole del trabajo lo 
permite—, expresado en un cronograma de las diferentes ac- 
tividades o cambios de situaciones deseados. 


Todo esto no es para definir el problema y/o los objetivos de la 
investigación evaluativa, sino para tener un marco referencial acerca 
de lo que es, hace, de cómo lo hace, cuándo, cuánto y. cuáles son 
los propósitos del programa o servicio que se va a evaluar. A veces, 
con estas preguntas apenas se logra pasar de la nebulosa inicial a un 
cierto perfil del programa o servicio que se va a evaluar. Ello sirve 
como punto de partida. Examinar documentos (informes, proyectos, 
memorias, etc.) puede ser una forma de aproximación a lo que el 
programa es o pretende ser, Sin embargo, el solo estudio de la do- 
cumentación existente acerca del programa no basta: es necesario 
realizar entrevistas y reuniones con los responsables del mismo y 
con los que encargan la evaluación para poder tener una idea más 
acorde a la realidad, ya que, muchas veces, una cosa es lo que se 
escribe o publica, y otra muy distinta lo que verdaderamente se hace 
o se quiere lograr. 


Delimitación del nivel organizacional en el que se va a hacer 
la evaluación 


También es necesario definir y delimitar el alcance o nivel organi- 
zacional en que se pretende realizar la evaluación. De ordinario, 
cuando una institución, entidad u organización encargan hacer una 
investigación evaluativa no pretende que se evalúe la totalidad de sus 
actividades o acciones, de ahí la necesidad de esta delimitación inicial. 

Aplicado a la salud, y en relación con esta cuestión, en un do- 
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cumento de la OMS para la especificación de la evaluación se hacen 
las siguientes preguntas: «¿Qué debe evaluarse? Es decir: ¿un pro- 
a grama, por ejemplo, de salud materno-infantil; un servicio, por 
. ejemplo, abastecimiento de agua y alcantarillado, o el uso de ambu- 
lancias y otros medios de transporte; o un servicio de salud local 
que atiende varios programas; o una institución, por ejemplo un 
centro de salud, un hospital o un establecimiento docente? Hay que 
cerciorarse de que el tema merece verdaderamente evaluarse por su 
alcance o posible importancia. No estaría justificado evaluar activi- 
dades secundarias fuera del programa, servicio o institución principal 
de que forman parte» °. 


Especificar qué se va a evaluar en cada uno de esos ámbitos 


Después de las delimitaciones antes indicadas, es necesario avanzar 
en otras éspecificaciones en estas negociaciones preliminares, a fin 
de establecer qué se va a evaluar. En este punto, el equipo técnico 
puede proporcionar una cierta orientación, en cuanto a las alterna- 
tivas posibles. A título indicativo señalamos las siguientes cuestiones: 


e è Revisar el progreso o desarrollo de un programa verificando 
. si los objetivos del mismo han sido alcanzados (o no) y en qué 
medida se han logrado. 

o e Valoración de la efectividad o eficacia del programa. 

, e Valoración de la eficiencia, analizando los resultados obteni- 
dos en relación a los esfuerzos realizados y los recursos utiliza- 
dos. 

e Evaluar el impacto o efecto global del programa en relación 
al problema o necesidad que pretendía satisfacer. 

e Evaluar el funcionamiento de una organización, de acuerdo a 
los fines, funciones y actividades que persigue. 

e Identificar factores asociados al éxito y al fracaso de un pro- 
grama, servicio o intervención. 


Especificación del para qué y para quién 


Una última cuestión que es necesario precisar en estas tratativas pre- 
liminares es el para qué de la evaluación. Es decir, qué pretenden o 


> OMS, Evaluación de programas de salud, Ginebra, OMS, 1981. 
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quieren los que encargan la investigación. Qué utilidad o aplicación 
piensan darle a los resultados de la evaluación. El para qué y el para 
quién están estrechamente ligados. No puede hacerse una evaluación 
para ser utilizada por quienes no tienen ningún poder de decisión a 
la hora de modificar o corregir el desarrollo de algún aspecto del 
programa o proyecto, o que no puede incidir en la marcha del mis- 
mo. Así por ejemplo, si la evaluación se hace para introducir cam- 
bios en la política general de la institución, los destinatarios de los 
resultados y conclusiones de la evaluación no podrán ser los traba- 
jadores sobre el terreno. 

Para decirlo breve y sintéticamente, en esta primera fase de la 
negociación, conviene dejar en claro las siguientes cuestiones: 


© quién necesita la información 
e qué tipo de información necesita 
e con qué finalidad la encarga 


PARA QUIÉN 
PARA QUÉ 


El evaluador (o el equipo de evaluación), no debe pasar a otras 
tareas hasta tanto no tenga respuestas adecuadas a todas estas cues- 
tiones. Para ello ha de realizar todas las reuniones y entrevistas que 
sean necesarias y consultar todos los documentos, folletos, regla- 
mentos, presupuestos, estadísticas, informes, etc. que puedan pro- 
porcionarle respuestas adecuadas y suficientes a todas estas cuestio- 
nes básicas. 

Cabe hacer, por último, una observación general sobre este pri- 
mer aspecto de las negociaciones. Y es la siguiente: en lo tocante a 
las negociaciones éstas serán diferentes, según se trate de un equipo 
de investigación externo a la institución, un equipo mixto (evalua- 
dores internos y externos) o simplemente de un equipo interno (véa- 
se capítulo 1, punto 5). En este último caso, cuando se trata de un 
equipo interno, también hay que hacer negociaciones, sabiendo de 
antemano que los condicionamientos serán mayores y el margen de 
maniobrabilidad/negociación bastante más estrecho. 

Pero cualquiera que sea la circunstancia, en las negociaciones no 
hay que pensar que, desde el punto de vista metodológico, se con- 
seguirá una situación óptima. Eso casi nunca se produce. Sabiendo 
qué es lo deseable, se hace lo posible con la mayor competencia y 
seriedad profesional que permitan los medios disponibles y las cir- 
cunstancias concretas en las que se realiza el trabajo. 
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b. Determinación de los recursos disponibles para realizar 
la evaluación 


La segunda gran cuestión objeto de negociación previa, es la relativa 
a los medios existentes para poder llevar a cabo la investigación. Se 
trata de saber qué recursos existen, disponibles o'asignados, para ser 
aplicados a la investigación evaluativa. Las disponibilidades financie- 
ras condicionan muchos aspéctos de la evaluación, como ocurre, por 
otra parte, con cualquier otro tipo de investigación. 

Cuando un gobierno (nacional, regional o local, a través de un 
ministerio, secretaría de Estado, dirección o, simplemente, a través 
de una unidad administrativa) o bien una organización no guberna- 
mental decide realizar una evaluación, pueden darse dos circunstan- 
cias: 


— que haya disponible una determinada cantidad de dinero para 
realizarla, 

— que el equipo de evaluación realice un estudio de costos según 
la demanda que se haya formulado. ` 


Esta mayor o menor cantidad de recursos disponibles determina, 
entre otros, los siguientes aspectos: 


— número de integrantes y cualificaciones del equipo de evalua- 
ción; lo que, a su vez, condiciona: 

— el tiempo dentro del cual se puede realizar la investigación: a 
mayor y mejor cualificación y experiencia del equipo, menos 
tiempo para realizar el trabajo de una manera satisfactoria; 

— procedimientos a utilizar: sabemos que pueden emplearse des- 
de técnicas muy costosas hasta otras de más barata utilización, 
el'uso de unas u otras puede incidir eù la calidad de la investi- 
gación. i 


Aunque ya lo hemos mencionado en el parágrafo anterior, con- 
viene recordar que cuando se alude a «recursos» éstos pueden ser 
humanos, técnicos, financieros y materiales. Una institución puede 
tener mayores o menores limitaciones financieras pero, al mismo 
tiempo, puede contar con recursos humanos altamente cualificados, 
sin que ello se exprese en el total del presupuesto destinado a la 
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evaluación (lo que intéresa de forma significativa en el caso de eva- 
luaciones mixtas). Asimismo, puede contar con equipos y personal 
finformáticos, por ejemplo) que pueden —si se utilizan para la in- 
vestigación evaluativa— ahorrar costos en la misma. 

Si vinculamos los problemas de recursos disponibles y áreas, as- 
pectos o tipos de evaluación, lo que se necesita es alcanzar un equi- 
librio entre lo que sería deseable evaluar y los recursos asignados, o 
sea, cómo articular dé manera óptima los recursos técnicos y los 
recursos financieros. Y, por último, advertir que si no se dispone de 
recursos destinados a realizar la investigación evaluativa, bajo nin- 
guna forma será factible su ejecución. La buena voluntad y deseos 
de evaluar no son suficientes para que se realice un estudio serio. 


2. Respuesta preliminar a cuestiones que 
condicionarán el diseño de la investigación 
evaluativa 


Sobre la base de los acuerdos a que se ha llegado en las negociaciones 
previas en las que se establece el alcance de la investigación, el equi- 
po técnico debe operacionalizar ese acuerdo en un diseño de investi- 
gación. 

Lo que interesa de manera particular en este punto son los pro- 
blemas que conciernen al diseño técnico, que debe rematar con un 
análisis de la viabilidad de la evaluación. Las cuestiones principales 
a responder son las siguientes: 


a. ¿Cuáles son las necesidades de información y las posibilida- 
des de obtenerla? 

b. ¿En qué medida puede ser asegurada la calidad y exactitud 
de los datos?, ¿cómo establecer la validez y fiabilidad de los 
mismos? 

c. ¿Qué método o métodos utilizar en la investigación?, ¿qué 
procedimientos técnicos se consideran los más adecuados? 

d. ¿Qué grado de colaboración se espera de parte de las perso- 
nas que, directa o indirectamente, están involucradas en los 
resultados de la evaluación? 

e. ¿En qué medida es viable esta evaluación? 
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a. ¿Cuáles son las necesidades de información 
y las posibilidades de obtenerla? 


Toda investigación supone la posibilidad de contar con datos váli- 
dos, pertinentes y sensibles. Ello comporta una serie de cuestiones 
prácticas a resolver; mencionamos las principales: 


¿Qué tipo de datos y de información se necesita para hacer esta 
evaluación?, ¿qué tipo de información hay que obtener?: ¿Sobre 
el programa?, ¿sobre los objetivos/metas del programa?... 


¿Es posible contar con apoyo informativo a todo lo largo de la 
investigación evaluativa? 


¿Cuáles son las fuentes informativas disponibles?, ¿cuáles son las 
fuentes de información más seguras?, ¿son utilizables y suficien- 
tes?, ¿qué seguridad existe acerca de la disponibilidad de datos e 
información?, ¿en qué medida son accesibles? 


Si la información y los datos pueden obtenerse de otras institu- 
ciones y organizaciones que son ajenas a la que realiza la evaluación: 


¿Qué seguridad existe de poder disponer de ellos? 
¿Cómo recopilar los datos? 


¿Qué comparaciones hay que hacer para medir lo que se quiere 
evaluar? Esta cuestión depende tanto del marco referencial, como 
de los aspectos que se ha decidido evaluar. 


b. ¿En qué medida puede ser asegurada la calidad y exactitud 
de los datos?, ¿cómo establecer la validez y fiabilidad de los 
mismos? 


Esta cuestión está estrechamente ligada a la selección de métodos 
y técnicas de investigación que puedan utilizarse, así como a los 
instrumentos de medida que se construyan o los procedimientos de 
muestreo. De lo que se trata es de establecer la forma en que puede 
asegurarse un nivel aceptable de exactitud y validez de los datos 
que se obtengan, analizando —como es obvio— las fuentes de po- 
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sible procedencia de los mismos. Además, habrá que establecer el 
modo de comprobación de la validez y fiabilidad de los datos, una 
vez recopilados. 

Esto que, aparentemente, puede parecer un problema exclusiva- 
mente técnico, tiene su razón de ser incluido en las tareas previas al 
diseño por la relación que guarda con la calidad que pueden tener 
los resultados finales de la investigación evaluativa. En lo posible, 
conviene que los responsables o los que encargan la evaluación es- 
tablezcan también sus propios criterios de validez y confiabilidad, a 
fin de tenerlos en cuenta en el diseño. De este modo, se añade va- 
lidez consensuada o intersubjetiva a los datos. 


c. ¿Qué método o métodos utilizar en la investigación?, ¿qué 
procedimientos técnicos se consideran más adecuados? 


Como más adelante se indica, siempre existen varias alternativas me- 
todológicas para realizar una misma investigación evaluativa y exis- 
ten diferentes técnicas y procedimientos para.la recogida de informa- 
ción. 

La elección de unas u otras depende tanto de las preferencias del 
equipo evaluador, cómo de sus posibilidades de aplicación, los re- 
cursos disponibles y de los imperativos lógicos que resultan del tipo 
de evaluación. De ahí la importancia y necesidad de responder —si- 
quiera de forma preliminar— a estas cuestiones que patentizan el 
enfoque metodológico a utilizar. 


d. ¿Qué grado de colaboración se espera de parte de las 
personas que, directa o indirectamente, están involucradas 
en los resultados de la evaluación? 


Esta pregunta condiciona de forma notable el proceso de evaluación 
y la validez de los resultados. Lo que interesa saber es la colabora- 
ción real que puede lograrse de aquellas personas u organizaciones 
de las que debe obtenerse información. Y decimos «real», porque la 
experiencia pone de manifiesto que, si bien ciertas personas no sue- 
len tener inconvenientes en colaborar, ello no necesariamente se tra- 
duce en colaboración efectiva. La falta de motivación, el desinterés 
u otras circunstancias pueden obstaculizar la tarea. De ahí la impor- 
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tancia de responder, con el mayor realismo posible, a esta cuestión. 
En la medida de las posibilidades, conviene hacer un sondeo infor- 
mal entre aquellos de quienes se necesita colaboración. Muchas veces 
los responsables de un programa aseguran la total colaboración de 
su personal, y luego —sin que haya una obstrucción expresa— no 
se da la colaboración esperada. P 


e. ¿En qué medida es viable esta evaluación? 


No siempre una negociación llega a su término positivamente, en el 
sentido de que se decide realizar la evaluación. Hay que estudiar Jas 
precondiciones necesarias para que la evaluación sea realizable y útil, 
aunque esto último más que del equipo investigador depende de los 
usuarios de la investigación. En este punto el problema consiste en 
encontrar una fórma de evaluar la factibilidad de la evaluación, o, 
como suele decirse más frecuentemente, encontrar un modo de va- 
loración de la evaluabilidad (evaluability assessment). 

En esta tarea de evaluación de la evaluabilidad, -de lo que se 
trata es de establecer y determinar si se dan las condiciones mínimas 
para hacer posible la evaluación de un programa. Ahora bien, para 
que un programa sea evaluable, ante todo es necesario (como ya se 
indicó) que exista la voluntad real de hacer la evaluación. Esto su- 
puesto, tenemos que ver las cuestiones concretas que hacen factible 
y realizable una investigación evaluativa. Importa mucho especificar 
las siguientes cuestiones: 


e posibilidades de disponer de información pertinente 
para poder valorar lo que se hace; 

e saber si se dispone de indicadores de evaluación; si 
carecemos de ellos, toda evaluación que nos propon- 
gamos será casi inútil o poco viable, cuando se trata - 
de comparar objetivos propuestos y realizaciones con- 
cretas; 

e y —aunque lo indiquemos en último término es la 
pre-condición fundamental — hay que tener bien en 
claro cuáles son los propósitos, objetivos y resultados 
que se piensan alcanzar con el programa que se va a 
evaluar. 
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Si bien nosotros hemos puesto esta cuestión como una de las 
tareas previas, para algunos autores —Wholey, Alvira—, ésta es una 
cuestión básica como paso previo para saber si un programa es eva- 
luable o no. De acuerdo a esto, se siguen las tratativas con la parte 
interesada para proceder a la posterior contratación y la realización 
del trabajo. En otros casos, la conclusión puede ser: «esta evaluación 
no es posible realizarla». 


ELABORACIÓN DEL DISEÑO DE LA INVESTIGACIÓN 


Teniendo en cuenta el marco de negociaciones preliminares, la de- 
terminación del tipo de evaluación a realizar y las cuestiones previas 
que conciernen al diseño, se procede a su elaboración. Como es 
sabido, el diseño de una investigación es el conjunto de operaciones 
que permite llevar adelante el proceso de investigación. Se trata del 
esbozo, esquema, prototipo o modelo que indica el conjunto de 
decisiones, pasos y actividades a realizar para dar direccionalidad al 
curso © camino que se sigue en una investigación. 

Tratándose de una investigación evaluativa, el diseño comporta 
—entre otros-— las siguientes tareas fundamentales: 


o Formulación del marco de referencia, escenario o en- 
cuadre, 
— el para qué de la evaluación, 
— determinación e identificación de los aspectos 
que serán evaluados (tipo de evaluación). 
e Selección de la estrategia metodológica y de los ins- 
trumentos y técnicas de investigación. 
e Selección de variables y elaboración de indicadores. 


Para adentrarnos metódicamente al tema, veamos cada una de 
estas cuestiones en particular. 


Formulación del marco de referencia, escenario 
o encuadre 


Después de las negociaciones preliminares que conducen a la deli- 
mitación conceptual de los aspectos a estudiar y luego de plantearse 


E 
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y dar respuesta a las cuestiones técnicas concernientes al diseño de 
la investigación, queda la tarea de operacionalizar todo esto, para 
hacer posible la recopilación, elaboración, análisis e interpretaciones 
de los datos e información que implica realizar la investigación eva- 
luativa. 

Para ello, la primera tarea a realizar es la formulación del marco 
de referencia o encuadre. Esto incluye dos aspectos: 


— determinar con un alcance bien preciso (de acuerdo a 
lo que se ha negociado) el para qué de la investigación 

— identificar y determinar los aspectos que serán evalua- 
dos. 


a. Delimitar con un alcance bien preciso el para qué 
de la investigación 


De lo que se trata es de formular técnicamente el objetivo de la 
investigación evaluativa. Considerando los resultados y acuerdos de 
las negociaciones previas, de lo que se trata es de establecer, por 
parte del equipo responsable de realizar la investigación, los objeti- 
vos de la misma, especificando en lo posible el grado y extensión en 
que dichos objetivos pueden ser logrados con el estudio evaluativo. 


b. Determinación e identificación de los aspectos que serán 

evaluados (tipo de evaluación 
Esta fase del trabajo consiste en establecer con precisión los aspectos 
que serán objeto de evaluación. Se trata de formular las preguntas a 
lás que se quiere que responda la investigación evaluativa. Qué ele- 
mentos o componentes específicos del programa serán evaluados y, 
por tanto, qué tipo de evaluación deberá hacerse. En el capítulo 
anterior explicamos que, a los efectos evaluativos, un programa se 
puede descomponer en tres grandes aspectos, y éstos, a su vez, in- 
cluyen. diversas posibilidades de evaluación. 

Para que la evaluación sea operativa, dentro de cada proyecto o 
programa en concreto, hay que circunscribir los aspectos que se han 
de evaluar. Estos diferentes aspectos en que puede descomponerse 
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un programa dan lugar a los distintos tipos de evaluación, y las 
preguntas concretas que se quieren responder. 

De esta forma, cuando se evalúan todos los aspectos, la evalua- 
ción es global; en cambio, cuando se trata de algunos aspectos o 
preguntas, la evaluación es sectorial. En la práctica, casi siempre se 
realizan evaluaciones sectoriales, sin embargo, ello no obsta para 
que, en primer lugar haya que determinar si la evaluación deberá ser 
global o sectorial. En este último caso, habrá que establecer, además, 
qué sectores, aspectos © preguntas serán objeto de la evaluación. 
Esto depende de cuatro factores principales: 


e finalidad de la evalua- 


CIÓN... para qué se hace la evaluación, 


e destinatarios de la eva- 
Luación couonconconousraniocaness quiénes van a utilizar la evaluación, 


O fase en que se encuen- 
tra la ejecución del pro- 
grama O proyecto ........ momento del proceso en el que se 
aplica la investigación evaluativa, 


e disponibilidad de per- 
sonal capacitado para 
realizar la evaluación ... quiénes van a realizar la evaluación. 


Dado que no siempre se va a evaluar la totalidad de un programa, 
ya sea por razones de costo, tiempo o esfuerzo, lo más frecuente es 
seleccionar las preguntas a responder y en función de ellas establecer 
el tipo de evaluación a realizar y su alcance. Como es obvio, esta 
decisión/selección se toma de acuerdo con lo establecido en la fase 
preliminar, esto es, el para qué y para quién de la evaluación. De 
ordinario, los demandantes de la evaluación son los.que —<on la 
ayuda de los responsables de hacer el estudio— han indicado el tipo 
de preguntas o aspectos que les interesa sean evaluados. Si la situa- 
ción no es ésa, el equipo responsable de realizar la evaluación deberá 
aclararlos con los demandantes. En caso contrario la evaluación pue- 
de ser muy poco útil y de poco interés práctico. 

Recordemos los aspectos principales que pueden evaluarse: 
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Evaluación del diseño y conceptualización del programa: 


— evaluación del estudio-investigación, 
— evaluación del diagnóstico, 
— evaluación del diseño y concepción del programa. 


Evaluación de la instrumentación y seguimiento del programa: 


— evaluación de la cobertura, 

— evaluación de la implementación, 

— evaluación de la estructura y ambiente organizacional, 
— evaluación del rendimiento del personal. 


Evaluación de la eficacia y eficiencia del programa: 


— evaluación de eficacia, resultados o impacto, 
— evaluación de la eficiencia o rentabilidad económica. 


Cuantos más aspectos o áreas se háyan de evaluar, mayor será 
el costo de la investigación evaluativa. De ahí que para responder a 
las cuestiones que planteamos en este parágrafo, necesitamos tener 
respuesta a los interrogantes que se consideraron en la fase prelimi- 
nar de negociación (sobre todo los relativos a recursos disponibles 
para realizar la evaluación). Pero antes realizaremos una presenta- 
ción general de las diferentes cuestiones que pueden plantearse en 
relación a cada uno de los tipos de evaluación * a fin de examinar 
las implicaciones técnicas y posibles usos de cada tipo de evaluación. 


Evaluación del diseño y conceptualización del programa 


a. Evaluación del estudio-investigación 


Este tipo de evaluación suele realizarse con muy poca frecuencia, y 
cuando se hace, generalmente es para encontrar posibles causas de 
fracaso del programa que no se hayan detectado mediante otros, ti- 


* Dado que en el capítulo anterior se ha realizado una presentación exhaustiva de 
las preguntas a que puede responder cada tipo de evaluación, a continuación plan- 
tearemos otras cuestiones no mencionadas, y dando por incluidas en cada aspecto sus 
preguntas correspondientes. (Véase capítulo 3, punto 2.) 
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pos de evaluación. Otras veces, se hace còn el propósito de estable- 
cer la fiabilidad y validez del estudio, antes de realizar un diagnós- 
tico de la situación. Y otras, se aplica a diferentes estudios realizados 
sobre una misma situación/problema, para seleccionar o desechar 
datos e información que puede ser confusa o contradictoria, em- 
pleando como criterio de selección los resultados que surgen de la 
evaluación realizada sobre cada estudio. También se realiza para exa- 
minar si se ha partido de supuestos falsos. 


b. Evaluación del diagnóstico 


Esta modalidad de evaluación puede realizarse antes de diseñar el 
programa o proyecto, a fin de determinar la factibilidad de la for- 
mulación sobre la base de un buen diagnóstico. Es decir, se. aplica 
en aquellos casos en que se sospecha la existencia de un diagnóstico 
que puede ser inadecuado y, por ello, derivar en un mal diseño o 
formulación del programa. Otras veces, se aplica cuando —habiendo 
realizado una evaluación de resultados, seguimiento y desarrollo del 
programa, y una evaluación del diseño— no se encuentran datos 
suficientes que justifiquen el fracaso de un proyecto. Es decir, cuan- 
do la falta de resultados o la existencia de malos resultados puede 
encontrarse en la realización de un diagnóstico erróneo o mal plan- 
teado. Al igual que la evaluación del estudio-investigación, la eva- 
luación del diagnóstico suele realizarse con poca frecuencia. 


c. Evaluación del diseño del programa 


Éste es el tipo de evaluación más utilizada dentro de las tres que 
incluimos en el aspecto correspondiente a diseño y conceptualiza- 
ción del programa. Este hecho deriva, sin duda, de la utilidad e 
interés que una evaluación de esta naturaleza tiene: si el diseño del 
programa o proyecto está mal hecho, lo más probable ės que se 
fracase en sú realización. Además, un buen proyecto no se da por 
terminado en cuanto a su formulación escrita, mientras no se èn- 
cuentre adecuadamente justificado. Es decir, además de una correcta 
fundamentación sobre la base de los datos del diagnóstico, un pro- 
grama o proyecto, debe justificarse en lo que se refiere a su factibi- 
lidad, posibilidades de éxito, viabilidad, posibilidades de ejecución, 
etc. Y ello implica, necesariamente, realizar una evaluación .ex-ante 
del diseño mismo, tratando de responder la mayor cantidad de pre- 


ana 


a IO 
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guntas posibles en este aspecto. Dicho todo esto, hay que admitir 
también que un diseño bien'hecho no asegura el logro de-resultados, 
puesto que puede darse el caso que no se aplicó correctamente en 
su implementación y ejecución práctica. 


Evaluación de la instrumentación y seguimiento del programa 


Las evaluaciones que se incluyen en este aspecto son bastante fre- 
cuentes, ya que hacen referencia a la forma en que un programa o 
proyecto se está realizando en la práctica, y si reúne los requisitos 
de propiedad e-idoneidad necesarios. Como el desarrollo de un pro- 
grama abarca campos y ámbitos muy diversos, de ordinario, cuando 
se hacen evaluaciones de este tipo, se seleccionan cuidadosamente las 
preguntas a responder, ya que una evaluación amplia de todo lo que 
comporta el desarrollo de un programa y su ejecución suele ser muy 
costosa y requiere manejar gran cantidad de datos que no siempre 
existen. 


d. Evaluación de la cobertura 


La finalidad de este tipo de evaluación es determinar si el programa 
llega a la población-objetivo deseada, es decir, si llega efectivamente 
a la población potencialmente usuaria del servicio. Para realizar una 
evaluación de esta naturaleza, es preciso definir de antemano cuál es 
la población-objetivo y establecer después cómo" utiliza esta pobla- 
ción los servicios o actividades que ofrece el programa. Esta segunda 
cuestión nos permitirá determinar también el grado de utilización y 
el perfil del usuario, y de ahí examinar la existencia o no dé infra- 
cobertura (no se llega a la totalidad de la población deseada), so- 
brecobertura (se llega a más gente de la deseada), o sesgo'de la 
cobertura (si existe gente que utiliza esos servicios, que no debería 
hacerlo). 

Una vez determinado esto, es necesario averiguar las causas. Y 
para ello, de forma gradual, conviene estudiar: 


—el grado de conocimiento del servicio o programa por parte 
de los posibles usuarios, 

— la accesibilidad existente para acudir al mismo, 

— el grado de aceptación del programa, 

— el nivel de calidad del servicio y funcionamiento adecuado. 
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También es conveniente estudiar y analizar estas causas, a través 
de las personas que, habiendo iniciado el tratamiento o participado 
del programa, lo hayan abandonado en algún momento. 

Una correcta evaluación de la cobertura de un programa, sólo 
puede hacerse comparando los datos existentes en los archivos del 
programa o servicio, con los datos externos relativos a las personas 
que no participan del mismo. Esto implica la necesidad de contar 
con sistemas de información/documentación que registren los datos 
necesarios de los usuarios, y estimar los datos externos mediante 
encuestas especiales de necesidades en la comunidad de que se trate, 
o utilizando indicadores para la evaluación de necesidades y diag- 
nóstico de la situación-problema. 


e. Evaluación de la implementación y seguimiento 


Entendemos por implementación la realización de un conjunto de 
gestiones y tareas destinadas a disponer de los medios y recursos 
necesarios para la efectiva realización de un programa. En este as- 
pecto, las áreas o componentes más importantes para evaluar, suelen 


ser los siguientes: 


o tareas de preparación y motivación, 
e disponibilidad de recursos, 
e disponibilidad de medios físicos. 


El seguimiento, tal como lo definimos en el capítulo 1, comporta 
—en este punto— la evaluación de: 


e los procedimientos utilizados y actividades realizadas, 
e la coordinación interna y externa, 
e la existencia de mecanismos de control operacional *. 


Las tareas de preparación y motivación. Aunque en principio 
esto puede parecer extraño, una buena parte de los programas de 
tipo social no puede lanzarse con posibilidades de éxito, si no se 


5 Estos dos últimos aspectos también pueden incluirse como parte de la evalua- 
ción de la estructura y ambiente organizacional desde la cual se desarrolla el progra- 
ma. Por esta razón, en el punto siguiente también aparecerán comentarios relaciona- 
dos a ello. (Sobre el concepto, funciones y tareas que implica el seguimiento y control 
de un programa, ver capítulo 1, punto 1.) 
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prepara a las personas involucradas en los mismos. Aquí se trata de 
evaluar si se realizaron tareas de preparación y motivación con el 
fin de crear un «clima favorable» en el cuadro territorial (local, co- 
marcal, provincial, etc.) o en la institución (asociación de vecos 
asociación de padres, cooperativa, sindicato, etc.) en el cual se ha 
proyectado llevar a cabo el programa. La importancia de este aspecto 
de la implementación radica en el hecho de que un buen pro P a 
puede fracasar o ver reducidos sus efectos esperados por no Taber 
tenido en cuenta estas tareas previas. 


Cuando hablamos de personas involucradas, hay que entenderlas 
en tres niveles: 


— de la institución, organización o unidad administrativa respon- 
sable de la realización del proyecto: ¿está verdaderamente in- 
teresada?, ¿qué prioridad tiene el programa o proyecto dentro 
de la institución?, 

— de los responsables directos de la ejecución, 

— de los beneficiarios potenciales: la comunidad o sector de po- 
blación destinataria (lo que desde nuestra perspectiva meto- 
dológica es un aspecto sustancial de la ejecución y puesta en 
marcha de los programas y proyectos). 


Evaluación de la disponibilidad de recursos. Según una clasifi- 
cación ya conocida y ampliamente utilizada, hay que distinguir entre: 


— Recursos humanos: 


@ personal técnico dedicado al Se ha de evaluar la calidad, capacidad, 
A a A coordinación, etc. de este per- 
A son, jé 
© personas de la-comunidad que A 
están implicadas en el progra- 
ma, 
* personal voluntario. 


— Recursos materiales: 


e : . PENE 

. locales; 3 Inventario y grado de utilización, idonei- 
equipos, herramientas, mate- dad de los mismos. 
rias primas; 

© mobiliario, etc. 
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— Recursos financieros: 


© origen, Suficiencia de los recursos financieros asig- 

© montos, nados para la gestión del servicio y la rea- 

e disponibilidad real, lización del programa. 

e rapidez o agilidad administrati- Disponibilidad de los recursos presupues- 
vo-contable, tados en tiempo oportuno. 

e fuentes de financiación, 

e condiciones de financiación. 


— Recursos técnicos: 


e utillaje profesional: pizarras, Disponibilidad de dichos recursos, calidad 
rotafolios, proyectores, etc.; de los mismos, etc. 

e conocimiento de métodos y Capacidad e ideoneidad para el uso de 
técnicas de trabajo. dichos recursos. 


La disponibilidad de los medios físicos para iniciar y llevar a 
cabo el proyecto sobre el terreno: Estas tareas pueden ser de muy 
variada índole según las características del programa concreto. Al- 
gunos ejemplos podrían ser: preparar un local para iniciar en él un 
curso de formación, trasladar material para iniciar una obra, etc. 

La implementación de un programa comprende otras tareas que 
dependen del carácter y naturaleza del mismo. Por ello, una evalua- 
ción de la implementación puede incluir otro tipo de cuestiones y 
preguntas *. Los tres aspectos que acabamos de plantear son —a 
nuestro juicio— los más importantes. 

Con respecto dl seguimiento, uno de los aspectos claves a evaluar 
es el referido a los procedimientos utilizados. Con el sólo análisis 
de los objetivos propuestos y resultados obtenidos u objetivos al- 
canzados, no surge claramente la validez de los procedimientos uti- 
lizados, hay que estudiar de manera expresa los modos operacionales 
que se han empleado. F f 

En este punto es oportuno tener en cuenta que ciertos procedi- 
mientos o modos operacionales, válidos en principio, pueden ser 
inoportunos desde el punto de vista político, económico, social o 
institucional, en razón de las situaciones coyunturales en que se de- 


é Sobre este punto se puede ampliar información de forma considerable E 
todo “en lo relativo a las preguntas a que debe responder una evaluación de la imple- 
mentación— en J. A. King, L. L. Morris y C. T. Fitrz-Gibbon, How to Assess Pro- 
gram Implementation, Newbury Park, Sage, 1987, donde aparecen más de 300 pre- 
guntas posibles para una evaluación de la implementación, aplicadas a programas 
educativos. 
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sarrolla la ejecución de un programa. Es de gran importancia, por 
el papel que juega en los programas de acción social, el sentido de 
la oportunidad de los procedimientos, y éste es un aspecto a consi- 
derar.en la evaluación. 

De- lo que se trata es de evaluar la coherencia entre objetivos 
propuestos y métodos y procedimientos empleados. Así, por ejem- 
plo, si existe una propuesta de trabajo social participativo, y el pro-" 
grama que se lleva a cabo pretende generar procesos de participa- 
ción, los procedimientos deben ser coherentes a esos propósitos por 
encima de otras consideraciones. 

Otro aspecto importante a considerar en el seguimiento es el de 
la courdinación interna y externa de la ejecución del programa. Bien 
es cierto que ellos constituyen también componentes administrativos 
que pueden evaluarse dentro de la estructura y ambiente organiza- 
cional, sin embargo, el registro de datos que debe establecerse al 
respecto para la retroalimentación correspondiente, forma parte de 
las tareas de seguimiénto y control operacional del programa. Lo 
que hay que tener en cuenta es la interacción del programa o pro- 
yecto que se evalúa con otras unidades operativas externas a él y con 
las cuales está vinculado, ya sea de forma directa o indirecta. Estas 
unidades operativas pueden ser otros programas o instituciones. 


f. Evaluación de la estructura y ambiente organizacional 


Lo que se pretende en este tipo de evaluación es valorar la estructura 
y desempeño organizacional de la institución (o imidad administra- 
tiva) desde la cual se realiza el programa. 

Todo programa o toda prestación de servicio se lleva a cabo 
desde una organización. Esta organización tiene una estructura ad- 
ministrativa y un modo de funcionar. Ahora bien, el perfil estruc- 
tural y funcional puede favorecer más o menos la realización del 
programa; también puede obstaculizarlo en mayor o menor medida, 
o bien puede resultar relativamente neutro... Cualquiera sea la cir- 
cunstancia, este aspecto conviene evaluarse, ya que la dotación de 
recursos, el personal asignado y sus relaciones tienen una gran in- 
fluencia en la marcha de las actividades del programa. No se trata 
de determinar los impactos o efectos del proyecto, sino de mejorar 


la eficiencia y eficacia operativa de la unidad administrativa respon- 
sable. s 


El análisis y valoración del desempeño organizacional es una cues- 
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tión fundamental (en algunos casos clave). Sin embargo, existen mu- 
chas dificultades inherentes a la evaluación de las organizaciones en 
el logro de sus objetivos, o en el condicionamiento del logro de los 
objetivos de un programa. En cuanto a la medición de este aspecto, 
su mayor dificultad proviene del hecho de la gran diversidad de 
objetivos, y, como consecuencia de ello, se pueden usar criterios 
múltiples en la medición del desempeño. : a 

Señalaremos algunas áreas de indagación que tienen más impor- 
tancia, especialmente en programas de tipo social. e 

Desde el punto de vista estructural, la evaluación de la insti- 
tución consiste en un análisis de su estructura organizativa. Una 
caracterización de la misma, en cuanto organización del trabajo, 
comprende el estudio de las siguientes cuestiones: 


— organigrama 

—— manual de organización 
— niveles de autoridad 

-— manual de procedimientos 


¿Existen cada uno de estos procedimientos? ¿En qué medida y 
con qué eficacia se utilizan? ¿Qué incidencia tienen de forma directa 
o indirecta en el programa a evaluar? , 

Desde el punto de vista funcional, pueden estudiarse los siguien- 
tes aspectos.: 


— Formas y mecanismos para la toma de decisiones: participa- 
ción abierta o participación cerrada, consultas democráticas o 
imposición, etc. Se trata de estudiar los estilos de dirección. 

— Naturaleza y contenido de la comunicación (canales de comu- 
nicación, receptividad del contenido de las comunicaciones, 
distorsiones de contenidos, retroalimentación del programa, 
etcétera). f 

— Nivel de satisfacción y clima existente en la organización. 

— Psicopatologías manifiestas en su funcionamiento. 

— Sistemas de control sobre la marcha del programa. 

—- Costos de funcionamiento. 
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g- Evaluación del rendimiento del personal 


Muy ligado a lo anterior, este aspecto consiste en medir la habilidad 
de cada persona para efectuar una determinada tarea que tiene a su 
cargo. Considerando el comportamiento total, con inclusión de su 
modo de organización; retención y empleo de conocimientos espe- 
cializados, así como de sus aptitudes y sus interacciones con otras 
personas. «Se refiere a toda la gama de conocimientos, habilidades 
y actitudes adquiridos por medio de la formación, así como a su 
organización e integración en la práctica [...]. La evaluación del ren- 
dimiento facilita los medios más directos para medir la calidad de la 
atención» ?. 

Para decirlo brevemente, con la evaluación del rendimiento del 
personal se pretende establecer el grado de pericia o competencia 
que tiene cada persona para desempeñar las tareas a su cargo. 

Como una evaluación global de éste tipo tiene muchas comple- 
jidades prácticas, vamos a examinar a continuación algunos -pasos o 
acciones que deben realizarse para hacer una buena evaluación del 
rendimiento. En primer lugar hay que realizar el denominado «aná- 
lisis de la tarea» que consiste en responder a la siguiente pregunta: 
¿qué debe saber o ser capaz de hacer el trabajador para efectuar con 
éxito una tarea dada? Para responder a ello se suele utilizar la ob- 
servación en la práctica de esa tarea, realizar entrevistas a los traba- 
jadores, revisar diarios de trabajo, registros de medidas adoptadas, 
encuestas o simulaciones. De forma sintética, podemos resumir el 
proceso de evaluación del rendimiento en las siguientes fases: 


1. Identificar las funciones y tareas respectivas al trabajo (si 
ello no se ha realizado, corresponde al evaluador hacerlo). 

2. Identificar el trabajo para el que se necesita la evaluación. 

3. Analizar el trabajo y determinar las actividades o funciones 
generales, después descomponerlas en tareas secundarias. 

4. Identificar las funciones y tareas más importantes y factibles. 

5. Decidir los niveles de la evaluación según su importancia y 
costos. 

6. Elegir los métodos y técnicas para evaluar el rendimiento: 


7 F, M. Katz y R. Snow, Evaluación del rendimiento de los trabajadores de la 
salud. Manual de formación y supervisión, Ginebra, OMS, 1981. 
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— listas de comprobación 
— escalas de calificación 
—- simulación 

— entrevistas 

— perfiles de rendimiento 


7. Elegir todos los instrumentos requeridos y, sites preciso, 
elaborarlos. 

8. Hacer revisar los instrumentos por otros especialistas. 

9. Efectuar un estudio piloto de los instrumentos y revisarlos 
si fuera preciso. 

10. Planear los procedimientos de registro de datos. 

11. Establecer. los niveles mínimos aceptables de rendimiento 
para cada función. 

12. Si es posible y necesario, hacer un estudio sobre la validez 
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Evaluación de la eficacia y eficiencia del programa 


De alguna forma, los tipos de evaluación examinados hasta ahora 
constituían una cierta revisión interna del programa o-proyecto, sin 
considerar de manera significativa el contexto. En este tercer ámbito 
de evaluación ya no se trata de evaluar el programa en sí, sino de 
evaluar los cambios que sé producen en la realidad, o mejor dicho, 
en relación a la situación-problema que se trata de superar. Nos 
explicamos: un programa puede estar alcanzando sus objetivos, ha- 
cer una buena utilización de sus recursos, tener una base adminis- 
trativa adecuada, etc. y, sin embargo, podría no responder a las ne- 
cesidades y problemas reales existentes o no incidir en el contexto 
que pretende modificar. 

Con la evaluación de la eficacia -se pretende evaluar el efecto o 


de predicción del instrumento de evaluación. : 
13. Evaluar la evaluación y revisar los perfiles del rendimiento 
para cada trabajo, función o tarea *, 


resultado del programa, y con la evaluación de la eficiencia se busca 
establecer el grado de rentabilidad económica de la intervención. 


h. Evaluación de la eficacia o resultados y efectos, 


Para evitar complicaciones innecesarias o comenzar una evalua- 
ción inviable, conviene tener presente los principios que, sobre eva- 
luación del rendimiento, señalan Katz y Snow: 


El programa o proyecto se evalúa en este aspecto tomando como 
referencia el problema que lo origina, y no desde su armonía o 
coherencia interna. Lo sustancial es saber si el programa que se está 
llevando a cabo responde o no a las necesidades y problemas reales. 
En otras palabras, un programa o proyecto correctamente formulado 
en sí mismo, podría no resultar efectivo al no resolver de forma 
“significativa la situación-problema que lo originó, al ño guardar re- 
— los rendimientos evaluados deben representar toda la gama de lación o consonancia con las necesidades que pretende satisfacer o 
competencias para el desempeño de las funciones y tareas de los problemas que pretende resolver. De ahí que se trate de evaluar 
trabajo, E los resultados obtenidos en términos de efectos (sobre la población 
— los aspectos más importantes y decisivos del rendimiento de- destinataria) e impacto (sobre el conjunto de la población y el me- 
ben evaluarse con más de un método o enfoque, dio), esto es, de consecución de los fines propuestos para resolver 
— la evaluación del rendimiento debe predecir futuros rendimien- el problema. 
tos en la misma tarea o función, Pero ello no basta, también es necesario medir y valorar los efec- 
— la evaluación debe tener estabilidad y coherencia, tos indirectos, imprevistos o secundarios que tiene el programa o 
— la finalidad de la evaluación debe ser el criterio de selección proyecto, así como efectos en Otras áreas no vinculadas a él. A modo 
de las técnicas. de ilustración de un efecto indirecto que-se manifiesta con posterio- 
ridad al programa, podríamos mencionar los efectos de un programa 
de alfabetización que incrementa la concurrencia a bibliotecas o au- 
menta la lectura de periódicos. El ejemplo escogido es un efecto 


— la evaluación debe centrarse en los aspectos más decisivos del 
conjunto del trabajo, 

— deben elegirse técnicas de evaluación prácticas, que den la má- o 
xima información con el mínimo costo en tiempo y dinero, 


PT 


$ Idem. 
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indirecto beneficioso, pero puede haber efectos negativos o perju- 
diciales, como es el caso de la contaminación en proyectos de 
desarrollo industrial, o los efectos de vacío. y desplazamiento con 
los programas de formación profesional °. Por otra parte, se pueden 
producir efectos indirectos no, deseables, incluso creando mayo- 
res problemas que los que se pretendía resolver. Y, en sentido con- 
trario, podrían darse resultados no previstos favorables que hasta 
podrían eclipsar el objetivo, principal del programa. 

Desde el punto de vista de nuestra perspectiva metodológica de 
la acción social y el trabajo social, la participación de los beneficiarios 
en la evaluación del programa es fundamental. No se trata de visua- 
lizarlos como un medio para evaluar mejor (cosa que casi todos los 
autores mencionan), su participación es un fin del mismo proceso 
metodológico. De ahí la necesidad de incluir en la evaluación —cuan- 
to menos— la opinión de los beneficiarios. 

Aunque el programa esté alcanzando sus metas y objetivos y se 
esté transformando la situación-problema que dio origen al progra- 
ma, ello no significa que el programa sea aceptado por la gente, ni 
que responda efectivamente a sus expectativas, (Adviértase que este 
programa no existiría, si en todo el proceso se hubiese aplicado una 
metodología participativa.) 

La falta de aceptación de parte de los destinatarios o beneficiarios 
de un programa revelaría que no se han tenido en cuenta las aspi- 
raciones, centros de interés, necesidades y problemas que son signi- 
ficativos para la, misma gente, sino más bien las propuestas de los 
técnicos o de la organización que promueve el programa. 

En la práctica, dentro de un equipo de evaluación, la importancia 
de la opinión de los beneficiarios, usuarios o destinatarios, depende 
de la significación que se le otorgue a la participación u opinión de 
la gente. Para un programa concebido autoritariamente, no tendría 
ninguna importancia; en uno paternalista, la importancia sería rela- 
tiva. En uno participativo, la opinión de los beneficiarios es decisiva. 

Conviene que en toda evaluación se analice también si los res- 
ponsables del programa tuvieron en cuenta la opinión y las necesi- 
dades y aspiraciones de la gente antes de iniciar las actividades, es 
decir, antes de la puesta en marcha del programa. O, simplemente, 
éste se «puso a andar», prescindiendo de los destinatarios. 


> Véase una ilustración de ello en P..H. Rossi y H. E. Freeman, Evaluación: un 
enfoque sistemático para programas sociales, México, Trillas, 1989. 


ME 
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i. Evaluación de la eficiencia 


Consiste en determinar el grado de rentabilidad económica del 
programa o servicio, comparando beneficios y costos, resultados y 
costos, o utilidades y costos. Es lo que denominamos «evaluación 
económica» del programa. 

Los procedimiéntos más utilizados para su aplicación son: 


— análisis de costo-beneficio 
— análisis de costo-efectividad 
— análisis de costo-utilidad 


Sobre estos métodos y todo lo relativo a la evaluación económica 
del programa hacemos. referencia en el capítulo siguiente, razón por 
la cual remitimos a su lectura y no ahondaremos más en este pará- 
grafo. 


4. Selección de la estrategia metodológica y de los 
procedimientos técnicos que serán utilizados 
para la recopilación de datos 


La cuestión es: ¿qué métodos y qué procedimientos técnicos se van' 
a utilizar? En cuanto a la selección de un método u otro, ésta suele 
estar influenciada, en buena medida, por el estilo u opciones meto- 
dológicas que, a priori de la evaluación a realizar, tiene un equipo 
de investigación Y. Hay investigadores que manifiestan una: prefe- 
rencia marcada, y casi excluyente, por los métódos cuantitativos; 
otros, por el contrario, prefieren los métodos cualitativos. Hoy, la 
mayoría de los investigadores optan por formas mixtas, combiriando 
diferentes procedimientos y técnicas de los métodos cuantitativos y 


1° Algunos autores, partidarios de una y otra estrategia, consideran que el debate 
no es sólo entre métodos, sino que- es también «un choque básico entre paradigmas 
metodológicos», ligados cada uno de ellos no sólo a estrategias de investigación cien- 
tífica, sino a concepciones del mundo y de los acontecimientos sociales profundámen- 
te diferentes. En éste sentido se expresan Cook y'Reichardt, refiriéndose, a Rist, 
Guba, Parlet, Hamilton, Patton o Wilson. (Cf. T. D. Cook y Ch. $. Reichardt, 
Be cualitativos y cuantitativos en investigación evaluativa,. Madrid, Morata, 
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cualitativos, conforme a la naturaleza de la investigación a realizar. 

Teniendo en cuenta las clasificaciones de Patron ** por una parte, 
y de Cook y Reichardt *?, podríamos hacer el siguiente cuadro sobre 
las estrategias metodológicas que se derivan de los paradigmas de 
investigación cualitativo y cuantitativo: 


MÉTODOS CUALITATIVOS MÉTODOS CUANTITATIVOS 


Se apoyan en un: 


Paradigma naturalista: fenomenolo- Paradigma racionalista hipotético- 
gismo y comprensión. deductivo, propio del positivismo 


lógico. 


Perspectiva etnometodológica, con Perspectiva analítico-positivista. 
la que se pretende captar los mo- 

dos en que las personas aplican sus 

pautas culturales y percepciones de 

sentido común a las situaciones con- 

cretas. 


Enfoque holístico. 


Criterios de validez. 


Enfoque particularista. 
Criterios de fiabilidad. 
Utilizan: 
Datos e información cualitativa. Datos cuantificados. 


Se basa en una muestra reducida Se basa en una muestra probabilís- 


no probabilística. tica. 

Investigación naturalista. Diseños experimentales o cuasi- 
experimentales. 

Descriptores. Cuantificadores. 


Análisis de contenido y estudio de Análisis estadístico derivado de hi- 
casos; predominio de la inducción.  pótesis deductiva. 


Datos válidos. Datos fiables. 


u M. Q. Patron, How to Use Qualitative Methods in Evaluation, Newbury Park, 
Sage, 1987. 

12 T, D. Cook y Ch. S. Reichardt, Métodos cualitativos y cuantitativos en inves- 
tigación evaluativa, Madrid, Morata, 1986. 
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MÉTODOS CUALITATIVOS 


MÉTODOS CUANTITATIVOS 


Se caracterizan por: 


Son más difíciles y laboriosos: re- 
quieren de una mayor cualificación 
teórico-conceptual. 


Aporta información sobre compo- 
nentes subjetivos: capta valoracio- 
nes, actitudes, conductas, motiva- 
ciones. 


Aborda la realidad en su dinamis- 
mo. 


Tendencia a captar múltiples dia- 
cronías, orientado al proceso. 


Tiene limitaciones para hacer com- 
paraciones, pero capta mejor las 
matizaciones. 


Se gana en comprensión. 


Son más fáciles de llevar a cabo, ya 
que utilizan procedimientos más 
formalizados: requieren mayor cua- 
lificación en aspectos formales re- 
lativos a cuestiones metodológicas. 


Aporta información sobre compo- 
nentes objetivos. 


Aborda los aspectos estables de la 
realidad. 


Tendencia al corte sincrónico de la 
realidad, orientado al resultado. 


Facilita la comparación, pero tiene 
limitaciones para hacer matizacio- 
nes. 


Se gana en precisión. 


Permite respuestas 


Largas. 
Muy detalladas. 


Variadas de contenido. 


Posibilidad de captar aspectos no - 
evidentes. 


No sistematizadas; limitadas en su 
generalización. 


No estandarizadas, pero matizadas. 


Cortas. 


Sucintas (representación abreviada 
de parámetros significativos). 


Parsimoniosas. 


Posibilidad de ser formalizadas ma- 
temáticamente. 


Sistematizadas y generalizables. 


Estandarizadas, pero sin matices. 


La discusión «métodos cualitativos» versus «métodos cuantitati- 
vos» no debiera ser significativa entre los metodólogos actuales. La 
polémica que ha enfrentado como disyuntiva y excluyente un enfo- 
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que cualitativo (que algunos llamaron humanista) y el enfoqué cuan- 
titativo (pretendidamente científico), consideramos que es una polé- 
mica estéril. La naturaleza de la realidad social, su complejidad y su 
carácter multifacético, supone una diversidad metodológica en cuan- 
to a las formas de abordaje de la realidad, derivada y exigida por la 
complejidad del objeto de estudio. Es más, hoy día el cuántitativis- 
mo excluyente e ingenuo de la «cuantofrenia» y la «testomanía», 
parece ser cosa del pasado. El mismo Campbell (a quien se ha con- 
siderado uno de los defensores de los métodos cuantitativos) objeta 
el enfoque exclusivamente cuantitativo y lamenta que el enfoque 
cuantitativo haya privado a la ciencia de obtener en lo cualitativo un 
«refuerzo de validación en el buen sentido» '. También Cronbach 
se expresa en este sentido al defender el método histórico '* y otro 
tanto ocurre con Stake. Es decir, la posición actual más extendida, 
aún entre aquellos que fueron los máximos defensores de los méto- 
dos cuantitativos, es la de reconocer que ningún método tiene pa- 
tente de exclusividad científica. 

Nosotros consideramos que ambas perspectivas, lejos de ser ex- 
cluyentes, son complementarias, y que la elección, en un momento 
dado debe regirse por criterios de conveniencia de acuerdo al objeto 
de estudio y la orientación de la evaluación: una evaluación orien- 
tada al proceso requiere de la utilización de métodos cualitativos, 
mientras que una evaluación centrada en resultados deberá utilizar 
procedimientos cuantitativos en muchos casos. 

Por otra parte, la síntesis multimetodológica parece ser una de 
las aspiraciones de mayor consenso entre los investigadores de las 
ciencias sociales, sin que ello signifique una «mezcolanza» de méto- 
dos '5. El empleo conjunto de métodos cuantitativos y cualitativos, 
tiene, por otra parte, grandes ventajas: permite la consecución de 
objetivos múltiples, ya que se interesa por el proceso y el resultado; 
potencia la vigorización mutua de los dos tipos de procedimientos; 
y facilita la triangulación a través de operaciones convergentes, como 


© D, T. Campbell, «Qualitative Knowing in Action Research», en M. Brenner, 
y P. March (comps.), The Social Contexts of Method, Nueva York, St. Martin's 
Press, 1978. A è 

14 L. J. Cronbach, «Las dos disciplinas de la psicología científica», en F. Alvira; 
M. Avia; R. Calvo y F. Morales, Los dos métodos de las ciencias sociales, Madrid, 
‘Centro de Investigaciones Sociológicas, 1979. 

15 J. M. Álvarez, «Investigación cuantitativa/investigación cualitativa: ¿una falsa 


disyuntiva?», en T. D. Cook y Ch. S. Reichardt, ob. cit. 
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muy bien han señalado Cook y Reichardt 16. Estos mismos autores, 
sin embargo, se muestran poco optimistas con respecto a la exten- 
sión del empleo múltiple de ambos métodos, debido a razones de 
costos (que son mayores en las formas mixtas), de tiempo (son más 
largas) y también de «modas metodológicas». mE 

Cuando se combinan métodos cuantitativos y cualitativos, se ha- 
bla de modelos o formas mixtas. Siguiendo la clasificación de Pat- 
ton 17, existen cuatro modalidades mixtas: 


Diseño experimental 

Datos e información 
cualitativa 

Análisis estadístico 


Diseño experimental 

Datos e información 
cualitativa 

Análisis de contenido 


Investigación naturalista 
Datos cualitativos 
Análisis estadístico 


Investigación naturalista 
Medición cuantitativa 
Análisis estadístico 


Además de estos métodos, también se pueden utilizar —en de- 
terminados casos—, otros tales como: el método histórico, el méto- 
do comparativo y el crítico *, f 

“En cuanto a las técnicas y procedimientos de recogida de datos 
e información, los métodos cualitativos suelen utilizar las siguientes: 


entrevistas en profundidad (focalizadas y clínicas) 
observación directa | 

observación participante 

análisis de contenido 

recurso a la documentación 

informantes clave 

estudio de casos 


16 T. D. Cook y Ch. S. Reichardt, ob. cit. 

17 M. Q. Patton, ob. cit. . A 

18 M. ean «Cinco vías de açceso a la realidad sociale, en M. García Ferrando, 
J. Ibáñez y F. Alvira, El análisis de la realidad social. Métodos y técnicas de investi- 
gación, Madrid, Alianza Universidad Textos, 1989. 
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historias de vida 

reuniones de grupo 

foro comunitario 

técnicas grupales de investigación, tales como: grupos nomi- 
nales, grupos de creación participativa, Delphi, grupo de dis- 
cusión, etcétera: 


Por su parte los métodos cuantitativos utilizan procedimientos 
que permiten medidas estandarizadas, con categorías predetermina- 
das, que facilitan la comparación y el análisis estadístico, permitien- 
do hacer presentaciones sumarias y generalizadas más o menos pre- 
cisas de los fenómenos que se estudian. Se vale de procedimientos 
tales como: 


entrevistas estructuradas 

encuestas 

análisis estadístico 

diseños experimentales y cuasi-experimentales 
escalas de medición de actitudes y opiniones 
tests 


Después de la explicación precedente, hemos de decir que en esta 
fase del proceso de evaluación, lo fundamental es explicitar el mé- 
todo (o combinación de métodos) que se utilizará en la investiga- 
ción. Hoy es común la utilización de formas mixtas, enfatizando el 
uso de procedimientos cuantitativos o cualitativos, según sea el tipo 
de investigación y el conjunto de circunstancias que rodean a toda 
investigación evaluativa y que ya hemos explicado. Lo sustancial a 
tener en cuenta'en la selección de procedimientos.no son los proce- 
dimientos en sí, sino la utilización de aquellos que permiten obtener 
un nivel, volumen y calidad de información que es suficientemente 
relevante y significativo para comprender y evaluar el aspecto, fenó- 
meno o problema que se estudia. 

A modo de síntesis sobre este punto, diremos que la estrategia 
metodológica y la selección de técnicas y procedimientos depende 
de seis circunstancias principales: 


e naturaleza de la investigación 
e recursos disponibles 
e aspectos a evaluar 
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e tipo de información existente y accesible 

e grado de colaboración, (indiferencia o rechazo) que se presume 
tendrá la investigación, sobre todo durante el trabajo de campo 

e tiempo disponible para su realización 


A este respecto es muy ilustrativo lo que ha escrito Alvira en un 
reciente libro, sobre los imperativos lógicos que relacionan ciertas 
técnicas y ciertos tipos de evaluación *°. El siguiente cuadro lo ha- 
cemos a partir de su texto: 


Tipo de evaluación Técnica más adecuada 
De las necesidades.............-...... Indicadores Sociales 
Encuesta 
Recurso a expertos 
De la evaluabilidad......... iii Análisis de documentos 


Entrevistas en profundidad 
Observación in situ 


Análisis de la implementación... Sistema de datos recogido por.el per- 
sonal del programa 
Observación sistemática y/o partici- 
pante 
Encuesta a los usuarios/beneficiarios 


Experimentos 

Cuasi-experimentos 

Modelos causales (ecuaciones estruc- 
turales) 


Del impACtO.......caeo ELTART N Indicadores sociales imbricados en 
modelos de ecuaciones estructurales 


Análisis de los resultados ..... 


Técnicas económicas propiamente di- 
chas 


1% F, Alvira, ob. cit. 
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5. Selección de variables y elaboración 
de indicadores 


Muy relacionada con la selección de la estrategia metodológica se 
encuentra la determinación de variables e indicadores que permitirán 
efectuar las mediciones y recoger los datos en el trabajo de campo. 

Generalmente, en las investigaciones evaluativas de programas 
sociales, los objetos de evaluación o las preguntas a que quiere res- 
ponder la evaluación, suelen ser hechos, procesos, situaciones o con- 
ceptos complejos que no pueden captárse o medir directamente. Si, 
además, se pretende medir cuantitativamente y/o estadísticamente 
dicho objeto de evaluación, es imprescindible transformar dichos 
objetos/conceptos (sistema formal) en números (sistema lógico). De 
ahí la necesidad de utilizar indicadores que permitan captar estadís- 
ticamehte un fenómeno social que no se puede medir conceptual- 
mente de forma directa. Ahora bien, por más indicadores que se 
utilicen nunca se puede llegar a reflejar «total y exhaustivamente 
todas las dimensiones de un concepto» °°, el indicador es, sencilla- 
mente, una forma de aproximarnos al conocimiento de algo que no 
podemos captar directamente. 

Al formar siempre parte de un concepto, los indicadores hacen 
referencia necesariamente a un contexto específico, por lo que no 
puede pretenderse la construcción de indicadores válidos en cual- 
quier programa o situación. Según la formulación del concepto y de 
la operacionalización que hagamos del mismo, se elaborarán distin- 
tos indicadores. Por ejemplo, si queremos medir el grado de parti- 
cipación de un grupo de personas en un servicio o programa, de- 
penderá del concepto de participación que formulemos (qué enten- 
damos por participación) los indicadores que se empleen en la me- 
dición de estos procesos sociales: 


Si por participación entendemos solamente la asistencia a una actividad 
del programa o el uso de un servicio, entonces un indicador posible para 
medir la participación podría ser el número absoluto de personas asis- 
tentes por un período de tiempo dado, o el promedio de asistentes por 
actividad realizada en un tiempo dado. 

Ahora bien, si por participación se entiende no sólo la asistencia a 


20 J, Díez Nicolás, «Segundo estudio», en Tres estudios para un sistema de indi- 
cadores sociales, Madrid, FOESSA-Euramérica, 1967. 
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una actividad sino también el grado de interés mostrado hacia la misma 
por parte de la gente, es obvio que los indicadores mencionados ante- 
riormente no son tan válidos, debiéndose incorporar a los mismos fac- 
tores tales como: repetición de asistencia a esas actividades e interés 
subjetivo manifestado por los participantes. 

Si, por el contrario, se entiende la participación como forma de to- 
mar decisiones conjuntamente o de forma autogestionada, los indicado- 
res más útiles no serán los de la simple asistencia, y serán necesarios 
otros tales como: actividades propuestas en relación a actividades rea- 
lizadas por parte de los usuarios, o actividades realizadas por iniciativa 
de la gente, en comparación con las realizadás por iniciativa de la or- 
ganización responsable del servicio. 


Aplicado a la evaluación de programas sociales, podríamos decir 
que «el indicador es el signo con el que señalamos los grados de una 
cosa y las variaciones inducidas en ella» ?!. O, más precisamente, 
que los indicadores son «las medidas específicas (explícitas) y obje- 
tivamente verificables de los cambios o resultados de una actividad. 
En otras palabras, los indicadores sirven de patrón para medir, eva- 
luar o mostrar el progreso de una actividad, respecto a las metas 
establecidas, en cuanto a la entrega de sus insumos (indicadores de 
insumos) la obtención de sus productos (indicadores de productos) 
y el logro de sus objetivos (indicadores de efectos e impacto)»??, 
Siendo, a nivel operativo, «la unidad que permite medir el alcance 
de una meta» ?. 

Como es obvio, la elaboración y elección de indicadores está 
condicionada por la calidad y cantidad de datos disponibles, o. sus- 
ceptibles de obtener; lo que, a su vez, también depende de los re- 
cursos asignados para realizar la evaluación y de las previsiones que 
sobre seguimiento y monitorización del programa, se hayan efectua- 
do en la planificación o diseño del programa. En cualquier caso, la 
elección de los indicadores es compleja y debe darse prioridad a 
aquellos que tengan mayor valor operativo, ya sea como definición 
de objetivos, o por su significación acerca de los medios necesarios 


21 D. Martínez, «Sistemas indicadores», en S. del Campo, Los indicadores sociales 
a debate, Madrid, Euramérica, 1972. 

2 Grupo del CAC, Seguimiento y evaluación. Pautas básicas para el desarrollo 
rural, Roma, FAO, 1984.. g 

2 E. Cohen y R. Franco, Evaluación de proyectos sociales, Buenos Aires, GEL, 
1988. 
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que hay que utilizar de cara a la acción 24 Además, los indicadores 
seleccionados deben satisfacer al menos tres exigencias 25; 


— permitir comparaciones sincrónicas, en el espacio, 

— permitir comparaciones diacrónicas, en el tiempo, y la elabo- 
ración de pronósticos, 

— representar valores sobre los que exista un grado de consenso 
(o posibilidad de'lograrlo) entre las partes implicadas o inte- 
resadas en la evaluación. 


En relación a los requisitos de validez y fiabilidad, se han men- 
cionado distintas caracterizaciones que deberían reunir los indicado- 
res de evaluación utilizados. Así, para el grupo de trabajo del CAC 
de las Naciones Unidas, los indicadores deben ser válidos, fiables, 
pertinentes, sensibles, específicos y oportunos 26. Nosotros para la 
fase de elaboración y diseño de un programa (planificación) propo- 
nemos como mínimo cuatro requisitos a los indicadores de evalua- 
ción que se formulen en el diseño del proyecto como forma de 
verificar la progresión hacia las metas previstas: independencia (uti- 
lizar cada indicador para una sola meta), verificabilidad (que permi- 
tan comprobar empíricamente los cambios que se van produciendo 
con el proyecto, permitiendo, asimismo, que el indicador tenga —ob- 
jetivamente— el mismo significado tanto para un defensor como 
para un oponente del proyecto), validez (que sirvan para medir to- 
dos y cada uno de los efectos que persigue el programa o. proyecto) 
y accesibilidad (cuya obtención sea relativamente fácil o poco cos- 
tosa, ya que no tiene sentido dedicar un esfuerzo desproporcionado 
a la utilización de indicadores de evaluación y su medición. Lo ideal 
es utilizar indicadores que requieran datos ya existentes o disponi- 
bles, o que se puedan obtener mediante el sistema de seguimiento y 
monitorización prevista en el proyecto) 7. 

En cuanto al proceso metodológico de elaboración de indicado- 
res, como ya lo señalara Lazarsfeld en un trabajo clásico ?, consiste 


24 J, Antonine, «El papel de los indicadores sociales en la planificación», en S. del Cam- 
po, ob. cit. 

25 J, Galtung, «El problema de los indicadores sociales», en S. del Campo, ob. cit. 

26 Grupo del CAC, ob. cit. 

27 M. J. Aguilar y E. Ander-Egg, Cómo elaborar un proyecto. Guía para diseñar pro- 
yectos sociales y culturales, Buenos Aires, ICSA-Magisterio del Río de la Plata, 1993. 

28 P. Lazarsfeld y R. Bourdon, «De los conceptos a los índices empíricos», en Metodo- 
logía de las ciencias sociales, Barcelona, Laia, 1973. 
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básicamente en la transformación de conceptos, e implica las siguien- 
tes fases 29; 


1. Representación literaria del concepto que se quiere miedir. 

2. Especificación del concepto, lo que supone descomponerlo 
en dimensiones o aspectos integrantes del mismo (factores). 
De lo quese trata.es de reflejar lo mejor posible la comple- 
jidad del fenómeno que se desea medir, por lo que resulta 
conveniente establecer bastantes dimensiones. La intuición, 
la experiencia del investigador y la aplicación de los resulta- 
dos de estudios. previos son necesarios para ello 3, Estas di- 
mensiones o variables deberán ser mensurables. 

3. Elección de indicadores que permitan medir dichas. dimen- 
siones, procurando la elección múltiple que evite los efectos 
negativos de la elección de un mal indicador. Dos requisitos 
básicos deben reunir los indicadores: estar relacionados con 
el concepto o dimensión de que tratan de ser indicación, y 
ser expresión numérica, cuantitativa, de la dimensión que re- 
flejan ?!. - 

4. Formación de índices. Es decir, de números estadísticos que 
intentan resumir la información proporcionada por varios 
indicadores de un concepto ”?, ponderando el peso de cada 
indicador en la formación del índice. Como indica González 
Blasco, un índice debe reunir las siguientes características: 
validez o exactitud, potencia y reproductibilidad. Y los cri- 
terios que pueden utilizarse para la agregación de indicadores 
son cuatro *; 

€ no sumar dos indicadores cuando uno es causa de otro, 

e no sumar dos indicadores cuando uno forma parte de 
otro, 

€ no sumar indicadores que estén orientados u objetivos 
distintos, 

e sólo sumar indicadores cuando la unidad de medida 
sea la misma. 


29 A is Seti 
Una ilustración práctica de estas fases o proceso puede consultarse en el anexo. 


30 P. González Blasco, ob. cit. 

3 Idem. 

2 J. Díez Nicolás, ob. cir. 

a e ge 

33 D. Allen, «Social indicators», en SsRC Newsletter, núm. 4, 1968, citado por 
S. del Campo, «Prólogo» en Los indicadores sociales a debate. 
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Ahora bien, como ha observado Peak, «la mayor parte de los 
métodos de ponderación carecen de una base racional» *, y el con- 
cepto de «índice», «es un concepto metodológico que no hace sino 
ofrecer una de las múltiples soluciones existentes o posibles para el 
complejo problema del control empírico de los significados concep- 
tuales» 7, El elemento subjetivo, por tanto, está presente en la for- 
mación de índices ya que es siempre el investigador el que asigna 
los «pesos» a la hora de establecer las ponderaciones entre los dife- 
rentes indicadores que conforman el índice. 

Valgan estas observaciones para relativizar, o al menos no abso- 
lutizar, el valor de los indicadores e índices, y evitar caer en la 
«cuantofrenia» de la que hablaba P. Sorokin. El indicador es un dato 
que es síntoma de algo, pero no es ese «algo». Los indicadores pue- 
den ser instrumentos útiles de aproximación a una realidad concreta, 
pero son eso: instrumentos de aproximación, no la realidad. 

Dentro del campo de la evaluación de programas sociales, la uti- 
lización de indicadores se torna imprescindible a la hora de estable- 
cer el seguimiento y control operacional de un programa o servicio, 
hasta el punto de que sin un sistema de indicadores y los soportes 
documentales correspondientes no puede implementarse este tipo de 
evaluación *. Ahora bien, para la evaluación de procesos sociales, 
tales como la participación de la comunidad en un programa de 
salud, por ejemplo, otro tipo de indicadores no estadísticos pero 
consensuados, quizá puedan ser más útiles y significativos (un ejem- 
plo de este tipo de indicadores puede consultarse en el anexo). 


TRABAJO DE CAMPO 


El trabajo de campo consiste sustancialmente en «ir hacia» la reali- 
dad que es motivo de estudio. La tarea principal es la recopilación 
de los datos y la información necesaria para realizar la evaluación. 


31 H. Peak, «Problèmes d'observation objective», en L. Festinger y D. Katz, Los 
méthodes de recherche dans les sciences sociales, París, PUF, 1963, citado por A. Me- 
dina, «Tercer estudio», en Tres estudios para un sistema de indicadores sociales. 

35 C. Moya, «Sistemas de indicadores en la' investigación sociológica», en S. del 
Campo, ob. cit. 

36 E. Alvira, ob. cit. 
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6. Recopilación de datos y de información 


Esta fase consiste en recoger los datos e información que previamen- 
te se ha decidido recabar respecto a las variables e indicadores de 
estudio, y conforme a las técnicas y procedimientos elegidos. 

Conviene siempre realizar una prueba previa de los instrumentos 
elaborados para la recogida de datos, a fin de efectuar las correccio- 
nes en los mismos que fueran necesarias, y adaptar dichos instru- 
mentos al contexto y las personas que los van a utilizar o a los que 
se va a aplicar. De lo que se trata es de ensayar y revisar hasta que 
se vea con claridad que aportan la información deseada. 

Una vez construidos con precisión y realizada la prueba previa 
de instrumentos y procedimientos, es necesario considerar la conve- 
niencia de efectuar mediciones múltiples. Y contemplar la medición 
de los efectos del programa tanto sobre las personas a quienes se 
dirige, sobre las organizaciones, el público o la comunidad en gene- 
ral, o incluso sobre sistemas más amplios ??. 


ELABORACIÓN Y PRESENTACIÓN DE RESULTADOS 


Una vez efectuado el trabajo de campo y recabados los datos e 
información necesaria, es preciso elaborar y analizar esos resultados 
por parte del equipo de evaluación, y presentarlos junto a las reco- 
mendaciones pertinentes. Todo ello implica tres tareas básicas: 


e elaboración de la información 


e análisis e interpretación de los resultados 
e presentación de resultados y recomendaciones 


7. Elaboración de la información 
Una vez obtenida la información, es preciso ordenar, clasificar y 


agrupar los resultados, es decir, elaborarlos. La masa de datos dis- 
ponibles es de poca utilidad si no se procede a una elaboración de 


27 C. H. Weiss, Investigación evaluativa, México, Trillas, 1978. 
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los mismos de acuerdo a los objetivos de la evaluación. Se trata de 
procesar y sistematizat los datos, para poder obtener conclusiones 
válidas. Además, las tareas de elaboración de los datos dependen del 
tipo de análisis que se quiera hacer con los mismos. 


8. Análisis e interpretación de los resultados 


Dependiendo del diseño de la investigación, el análisis de los datos 
puede ser exploratorio, descriptivo o explicativo, por éste orden, 

El análisis exploratorio tiene por finalidad «conocer los datos» 
para «comprender qué se puede hacer con ellos antes de .utilizar 
técnicas de análisis confirmatorio, es decir, de contrastación de hi- 
pótesis» *, y es necesario realizarlo cuando se persigue un análisis 
explicativo. El análisis descriptivo, por su parte, se resumen en una 
matriz de datos y la utilización de medidas que sintetizan la infor- 
mación de dicha matriz, ya sean éstas de tendencia central, disper- 
sión, o de distribución de frecuencias. 

De lo que se trata la mayoría de las veces en las evaluaciones, es 
de encontrar explicaciones del éxito o el fracaso de un programa o 
alguna de sus partes y de comprobar las modificaciones que se han 
dado en una situación problema como consecuencia de una inter- 
vención dada. En definitiva, el análisis y la «lectura» e interpretación 
que se realice de los datos, tendrá que hacerse de acuerdo a los 
objetivos que se persigan con el estudio y con las preguntas que 
inicialmente se formularan. 


La evaluación requiere la formulación de juicios 
basados en un análisis cuidadoso y un estudio crí- 
tico de situaciones específicas, con el fin de sacar 
conclusiones bien fundadas y de hacer útiles pro- 
puestas de acción futura. Este juicio no debe en- 
tenderse en el sentido jurídico de «fallo» o «sen- 
tencia», Ha de basarse en información válida, per- 
tinente y sensible que sea fácil de obtener y que 
se facilite a todos los que puedan necesitarla. Den- 


38 E, Alvira, «Introducción al análisis de datos», en M. García Ferrando; J. Ibáñez 
y F. Alvira (comps.), El análisis de la realidad social. Métodos y técnicas de investi-" 
gación, Madrid, Alianza, 1989. 
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tro de esta perspectiva, la evaluación supone un 
espíritu abierto capaz de ejercer una crítica cons- 
tructiva. Además, exige del personal profesional 
la disposición adecuada para comunicarse libre- 
mente con sus homólogos y con otras personas o 
grupos competentes de los distintos niveles polí- 
ticos y operativos... 


Evaluación de los programas de salud, OMS. 


9. Discusión de los resultados. Formulación 
de conclusiones y recomendaciones 


Terminado el trabajo de análisis, como es obvio, se llega a unas 
conclusiones. Sería un grave error presentar estas conclusiones como 
definitivas, ya que su carácter es más bien preliminar. Por ello, es 
necesario facilitar la discusión de los resultados y ajustar lo que sea 
pertinente. A un equipo de evaluación (sobre todo si es externo) se 
le pueden escapar muchos aspectos contingentes de la práctica y 
funcionamiento de la institución, cuyo conocimiento puede suponer 
.el reajuste «de algunas conclusiones. 

Es por ello que, antes de entregar los resultados de la investiga- 
ción evaluativa a los destinatarios, hay que someter a discusión las 
conclusiones que se. han formulado. Lo deseable es que todas las 
personas, que debido a su trabajo pueden estar afectadas por los 
resultados de la evaluación, tengan la oportunidad de dar a conocer 
su opinión acerca de las primeras conclusiones. 

Discutidas las conclusiones preliminares y recogidas las obser- 
vaciones, comentarios, críticas, aclaraciones, etc., se procede a la 
redacción del informe final y las conclusiones, comunicando los 
resultados y recomendaciones. Sobre este punto hacemos algunas 
sugerencias prácticas, resumidas en lo siguiente: 


e Cómo hacerlo: ante todo tener en cuenta que un lenguaje 
claro, sencillo y concreto es preferible a otros estilos. El informe 
debe tener un lenguaje preciso y comprensible, evitando lo esotérico 
de los iniciados en una disciplina o ciencia, y preciso. Debe centrarse 
en los resultados y recomendaciones fundamentales. Un informe eva- 
luativo que diga sólo que «el programa no ha producido los efectos 
esperados», no sirve de gran cosa. Hay que presentar observaciones 
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concretas y recomendaciones útiles para ayudar a la toma de deci- 
siones.. 

Q Cómo estructurarlo: Morris, Fitz-Gibbon y Freeman han su- 
gerido posibles formas de presentar el informe evaluativo °°, de esas 
propuestas y nuestra propia experiencia, pensamos que quizá sea útil 
seguir un esquema parecido al siguiente, y adaptarlo a cada caso 
concreto: 


I. Sumario. 

IL. Inforinación concerniente al prógrama: origen, objetivos, 
destiriatarios, participantes, personal, características gene- 
rales (materiales, actividades, aspectos administrativos). 

III. Descripción del estudio evaluativo: 

— propuestas de evaluación, 

— diseño de la evaluación, 

— resultados de las medidas: instrumentos, datos, 
— implementación de las medidas. 

IV. Resultados: tanto de la implementación del estudio como 
de las mediciones efectuadas. 

V. Discusión de los resultados: resultados y efectos compro- 
bados que son consecuencia del programa; resultados o 
efectos positivos, 

VI. Costos y beneficios: métodos de cálculo empleados, cos- 
tos monetarios y no monetarios asociados al programa, 
beneficios monetarios y no monetarios asociados al progra- 
ma. 

VII. Conclusiones, recomendaciones y opciones: 

— conclusiones, 

— recomendaciones para la revisión del programa, 

— recomendaciones concernientes a sucesivas evalua- 
ciones. 


Cuando el informe de evaluación está destinado a responsables 
políticos, conviene iniciarlo por las conclusiones y recomendaciones, 
seguido de los resultados, ya que ello es lo que mayor interés puede 
tener para destinatarios poco preocupados por el detalle metodoló- 
gico y técnico del estudio. 


3 L. L. Morris; C. T. Firz-Gibbon y M. E. Freeman, How to communicate 
evaluation findings, Newbury Park, Sage, 1987. 


Aspectos claves desde el punto de vista metodológico 121 


e Practicidad y factibilidad de las conclusiones y recomenda- 
ciones finales. Las propuestas deben ser prácticas, es decir, fácilmen- 
te utilizables por los destinatarios de la evaluación. Por su parte, la 
factibilidad de las recomendaciones hace referencia a la necesidad de 
que propongan modificaciones o correcciones realizables. No se tra- 
ta de proponer lo óptimo, sino lo posible. Sin embargo, ello no 
obsta para que se presenten varias alternativas que van desde lo de- 
sexble (propuesta maximalista), pasando por lo probable y lo posible 
como el mínimo a realizar. 


LA APLICACIÓN DE LOS RESULTADOS DE LA EVALUACIÓN 


Una investigación evaluativa se debe hacer para que sus resultados, 
conclusiones y recomendaciones sean aplicadas. Esto parece dema- 
siado obvio, sin embargo, en la práctica no siempre es así: del mismo 
modo que en el estudio de los problemas sociales existe un superávit 
de investigaciones y un déficit de ejecución, en los estudios evalua- 
tivos ocurre algo similar. Así, por ejemplo, si nos-atenemos a los 
resultados de las investigaciones evaluativas en los Estados Unidos 
(país en el que se ha logrado el mayor desarrollo teórico y práctico 
sobre métodos de evaluación), está claro que existen «decepciones 
entre los evaluadores y: defensores de la evaluación y su utilidad 
acerca de la ligera influencia que las evaluaciones parecen tener en 
las actividades y la política de los programas» *, Esto supone que 
no siempre las personas supuestamente interesadas y/o implicadas 
en la evaluación aprovechan los resultados de la misma. Nosotros lo 
hemos podido constatar, reiteradamente, en nuestra práctica profe- 
sional, y en algunos de los estudios evaluativos que hemos realizado. 


10. La adopción de decisiones; aplicación 
de las recomendaciones 


Decíamos al comienzo de este trabajo que no se evalúa por interés 
académico o por curiosidad, sino con un claro sentido utilitario y 


“0 P, H. Rossi y H. E. Freeman, Evaluación. Un enfoque sistemático para pro» 
gramas sociales, México, Trillas, 1989. 
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práctico: llevar a cabo acciones correctivas, adoptando las medidas 


necesarias dentro del proceso, de realización de un programa o pro-. 


yecto, de cara al logro de los objetivos propuestos. Este hecho de 
«introducir medidas de ajuste» dentro de un programa, como pro- 
ducto del análisis evaluativo de su comportamiento, se denomina 
retroalimentación (feed-back). 

Ahora bien, la retroalimentación forma parte de una de las fun- 
ciones del procesó administrativo y de gestión, a través del control 
operacional. Como ya dijimos anteriormente, éste consiste en dis- 
poner de un conjunto de mecanismos que sirven para medir y exa- 
minar los resultados obtenidos en relación a los resultados previstos, 
y para establecer acciones correctoras, cuando así fuera necesario. 
En suma, los resultados de la investigación evaluativa sólo tienen 
sentido en la medida que forman parte de la función de control 
operacional, y en la medida que sirven para formular propuestas de 
acción futura. ` 

Si después de recibidas y analizadas las recomendaciones y con- 
clusiones por parte de los destinatarios del trabajo, no se siguen 
modificaciones, rectificaciones y reajustes acordes a lo que se sugie- 
re, o existen grandes diferencias entre lo propuesto y las acciones 
subsiguientes, es porque «algo» no ha funcionado. Las causas que 
inciden en la escasa o nula utilización de los resultados de una eva- 
luación, pueden.ser muy variadas. Señalamos tres en particular: 


e La evaluación no ha sido práctica ni útil. Esto puede. ocurrir 
por tres motivos principales: incompetencia técnica del equipo de 
evaluación; métodos de investigación inapropiados para esa investi- 
gación en concreto; o bien porque ha sido presentado de una manera 
compleja e ininteligible, expresando los resultados con un lenguaje 
demasiado cientificista, no siempre comprensible para los usuarios 
del estudio. 

e Quienes deben tomar las decisiones para introducir cambios 
en el programa, no se «toman en serio» la evaluación y todo queda 
reducido al cumplimiento de un formalismo: se encargó la evalua- 
ción, se hizo, pero no se aplica. 

e Los resultados o conclusiones de la evaluación tocan intereses 
que los responsables no quieren o no pueden modificar y... todo 
sigue como antes. Esos intereses pueden ser de grupos externos a la 
organización evaluada, pero también a veces son intereses que están 
al interior mismo de la organización: sean éstas gubernamentales o 
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no, dentro de las diferentes organizaciones se establecen pequeñas 
oligarquías o grupos («trenzas») que controlan el aparato de la or- 
ganización y se benefician de esa situación. Todo cambio puede re- 
sultar nefasto a sus propios intereses. 

Pueden existir otras muchas razones pero, cualquiera sea el caso 
cuando los resultados no se utilizan, la razón última de la evaluación 
ha quedado truncada o amputada. 


Para finalizar este capítulo referido al proceso metodológico de 
la evaluación de programas, podríamos resumir las fases o momentos 
más importantes en el esquema de la página siguiente. 
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Consiste en: 


Se trata de establecer qué se 
va a evaluar, qué es lo -que 
quieren quienes demandan la 
evaluación, qué tipo de coo- 
peración será necesaria. 


Tareas —Momento de 
previas identificación 


Verificación de lo que se ha 
hecho y de los resultados ob- 
—Momento de la tenidos: no interesan las in- 
comprobación tenciones o propósitos. Se 
trata de obtener información 

para formular juicios. 


Comparación de lo que se ha 
hecho con lo que se quería 

ió —Momento de la hacer, utilizando criterios ob- 
a comparación jetivos (datos y hechos), no 
dicha opiniones ni apreciaciones 
subjetivas. 


Identificación y formulación 

-—Momento de juicios sobre lo realizado 

analítico y los factores que influyen en 
los resultados. 


Entrega de los resultados a 
quienes encargaron la reali- 
zación de la evaluación. 


-—Proporcionar 
Ls información 


Utilización de los resultados 
Tareas de la evaluación para propo- 
posteriores —Toma de ner correcciones, reajustes y 
o decisiones modificaciones, a fin de me- 
jorar el programa y asegurar, 
di en la medida de lo posible, 
la satisfacción de las necesi- 

dades de los usuarios. 


ANEXO 


ALGUNAS PROPUESTAS CONCRETAS DE INDICADORES 
DE EVALUACIÓN DE PROGRAMAS EN SERVICIOS 
SOCIALES Y ATENCIÓN PRIMARIA EN SALUD 


En este anexo presentamos tres ejemplos concretos, desarrollados en dife- 
rentes campos de intervención y contextos distintos, de elaboración de in- 
dicadores de evaluación de programas y servicios sociales. 

Se han seleccionado teniendo en cuenta el tipo de indicadores utilizados, 
las fuentes de obtención de datos que emplean y la forma de validación que 
implican, así como el proceso de construcción seguido en cada caso concre- 
to. De este modo, las tres propuestas que presentamos —y que correspon- 
den a algunas de las evaluaciones realizadas por nosotros en los últimos 
años—, son las siguientes: 


e Indicadores de evaluación de servicios sociales para la tercera edad. 

e Indicadores de evaluación de resultados o efectos en programas de 
educación para la salud. 

e Indicadores de evaluación de procesos de participación comunitaria 
en salud. 


1. INDICADORES DE EVALUACIÓN DE SERVICIOS SOCIALES 
PARA LA TERCERA EDAD 


Con este ejemplo, pretendemos mostrar cómo puede ser una de 
las formas de utilizar/plantear indicadores de evaluación para 
mejorar la gestión en el ámbito de los servicios sociales de ca- 
rácter sectorial *. En esta propuesta, las fuentes de obtención de 
datos son de carácter estadístico, procedentes de registros cons- 
truidos a tal fin, así como de censos y encuestas. Recoge indi- 
cadores de diversa índole, relativamente fáciles de obtener a 
bajo costo. 


1 Una ilustración amplia de indicadores de evaluación para la gestión de servicios 
sociales generales puede consultarse en L. Corral, A. Díaz y S. Sarasa, Seguimiento 
de la gestión de los servicios sociales comunitarios, Madrid, Siglo XXI, 1988. 
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Advertencias previas: 


o En este caso concreto, el alcance que tiene la expresión «población 
_ necesitada» de un determinado servicio es triple: 


a. Aquellos que demandan un servicio, independientemente de que reúnan o 
no los criterios establecidos para acceder a él. 
(NECESIDAD EXPRESADA) 

b. Aquellos que además de haber demandado el servicio, reúnen todos los 
criterios establecidos para acceder a él. 
(NECESIDAD NORMATIVA EXPRESADA) 

c. Aquellos que, independientemente de haber solicitado o no el servicio, 
cumplen los criterios establecidos para acceder al mismo. 
(NECESIDAD NORMATIVA TOTAL) 


o En los casos a y b, los datos podrán obtenerse de los registros de 
demandas, mientras que el caso c (que es por cierto el de mayor fia- 
bilidad, validez y adecuación) sólo podrá obtenerse mediante la rea- 
lización de encuestas o censos de necesidad (procedimientos, ambos, 
más costosos que los primeros). 

e Tanto el planificador como el evaluador, deberán decidir para cada 
indicador concreto, el alcance de la expresión; utilizando criterios de 
utilidad y accesibilidad básicamente. 


Teniendo en cuenta que en nuestro país los servicios sociales especiali- 
zados para la tercera edad son fundamentalmente ayudas económicas, ayuda 
a domicilio, residencias y centros de día, algunos indicadores de evaluación 
podrían ser los siguientes. 


Ayudas económicas, ayuda a domicilio y residencias 


Por la naturaleza de estos servicios, de índole individual en su prestación, 
se pueden considerar indicadores útiles para la evaluación de la gestión: 


e Tasa de prevalencia: 


Ne 
Pat 


P= x 100; donde: Nt = n.° de casos necesitados (existentes) en determi- 
nado período. 


Pat = población anciana total en el mismo período, 


Fuente: Registro de demanda. 
Censos específicos 
(si se consideran casos necesitados los que han solicitado ayuda, la tasa de preva- 
lencia será equivalente a la necesidad expresada, si se consideran casos necesitados 
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sólo aquellos que han superado los criterios de necesidad establecidos, la tasa de 
prevalencia será equivalente a la necesidad normativa). 
Censos específicos. 


Observaciones: En el caso del servicio de ayuda a domicilio, si se estima previsible 
(como parece serlo, habida cuenta de la prioridad otorgada a este servicio) un 
incremento significativo de la ayuda, será más útil calcular la tasa de incidencia 
que la de prevalencia. i 


e Tasa de incidencia: 


Np 
I= Par X 100; donde: Np = n.° de casos que potencialmente necesitarán ayu- 
da en determinado período (casos nuevos). 


Pat = población anciana total en el mismo período. 


" 


Fuente: Estimaciones realizadas por: expertos, equipos de servicios sociales de base, 
ayuntamientos (proyecciones demográficas). 
Encuestas periódicas (cada 4 años) en hogares donde reside al menos una persona 
mayor de 65 años. 
Censos específicos. 


Observaciones: Sólo sería muy útil calcular la tasa de incidencia en los casos en que 
prevea un incremento o decremento muy significativo de la demanda, ya que en 
caso contrario no sería de excesiva utilidad. 


e Tasa de cobertura: 


N: 
C= K x 100; donde: Na 


[i 


n.° de casos atendidos por período. 
Nt = n.° de casos necesitados (existentes) por el mis- 
mo período. 
Fuente: Registro de demanda. 
Registro de atención. 


Observaciones: La misma que en la tasa de prevalencia. 


e Grado de especificidad del programa: 


Nna a 
E= Na * 100; donde: Nna = n.“decasos no necesitados atendidos por perío- 


do. 
Na = n. de casos atendidos en el período. 


Fuente: Registro de atención. 
Revisión de casos. 
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e Grado de sensibilidad del programa: 


S= Noan x 100; donde: Nnan= n.° de casos no atendidos y necesitados por 
Ne período. 
Nt = n. de casos necesitados por período. 


Fuente: Registro de demanda. 


Observaciones: La misma que en la tasa de prevalencia. 


o Tasa de eficacia de la cobertura: 


C= ( A - Nos, x 100; donde: Na = n.° de casos atendidos en el perío- 
t Na do; 
Nt = n.° de casos necesitados en el pe- 
ríodo. 
Nna =n.” de casos no necesitados aten- 
didos en el período. 
Na = n. dé casos atendidos en el perío- 
do. 


Fuente: Registro de demanda. 
Registro de atención. 


Observaciones: A mayor especificidad def programa, será mayor la eficacia de la 
cobertura, siendo dicha eficacia en situación ideal C = Ce. 


e Fluctuación de la demanda: 


FD, = N- total de demandas recibidas por período : x-100 
4 N.°. total de demandas recibidas en período anterior 


Fuente: Registro de demanda. 


N.° de demandas recibidas por período: —x 100 
N.e de demandas recibidas en el mismo período del año anterior 


FD, = 


Fuente: Registro de demanda. 


e Eficiencia de la atención: 


N.* de demandas resueltas por período 


w x 100 
Aa= N.° de demandas recibidas por período 


Fuente: Registro de demanda. 
Registro de atención. 
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ds N.° de demandas recibidas y no resueltas hace más de un año 


N.° de demandas recibidas y no resueltas a la fecha 00 


Fuente: Registro de demanda. 
Registro de atención. 


e Índice de prestación anual: 


Na 
P= Na * 100; donde: Na = n? de casos atendidos por período. 


Nd 


n.° de prestaciones disponibles en el mismo pe- 
ríodo. 
Fuente: Registro de atención. 


Observaciones: Si Na > Np el índice será aceptable, desde el punto de vista de la 
eficiencia. 


e Índice de ocupación anual: 


O= y X 100; donde: Na 


Nd 


n.° de casos atendidos por período. 


n.° de plazas disponibles por período. 


Fuente: Registro de atención en residencias. 


Observaciones: Na > Nd, aceptable. 


/ 


© Rendimiento de las prestaciones: 


Nb 
Rp= Na * 100; donde: Nb = n.° de personas beneficiadas por período. 


Na = ne de prestaciones (casos atendidos) en el mis- 
mo período. 


Fuente: Registro de átención. 
Fichas sociales de casos. 


Observaciones: Personas beneficiadas se considerarán todas aquellas que vivan habi- 
tualmente en el domicilio del anciano, y n.° de prestaciones o casos atendidos 
serán una por unidad familiar. Por lo que, de ordinario, Nb > Na. 
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o Índice de disponibilidad de plazas para asistidos en relación a válidos: 


AV= Npa x 100; donde: Npa = n. de plazas disponibles para asistidos en un 


Npy „período. 
"Npv = n. de plazas disponibles para válidos en un 
período. 


Fuente: Guías de recursos. 


Observaciones: Si se ha calculado la tasa de incidencia y prevalencia de válidos y 
asistidos, la comparación con esta tasa permitiría ajustar o adecuar la demanda 
real de ambos tipos de plazas a la cobertura necesaria de recursos. 


Centros de día: 


Por la naturaleza de este servicio, de carácter socio-cultural y comunitario, 
que persigue objetivos de socialización, recreación y participación social de 
los usuarios, los indicadores de evaluación a utilizar deberán estar centrados 
en el tipo y nivel de participación desarrollada en los mismos y en cada una 
de las modalidades de acción o actividad realizadas. 


_ Para ello es necesario establecer una tipología de posibles actividades socio-cultu- 
rales que se llevan.a cabo en los centros de día. Al respecto, la clasificación realizada 
por Ander-Egg ? nos parece lo suficientemente amplia. 


1. Formación: jornadas, talleres, cursos, seminarios, conferencias, debates, reu- 
hiones de trabajo, círculos de cultura, educación de adultos. 

2. Difusión: visitas a museos, monumentos, galerías, bibliotecas, fonotecas, vi- 
deotecas, etc. 

3. Artísticas: artesanía o arte popular, artes visuales, artes. escénicas, danza, mú- 

* sica y canto, lenguaje y literatura, nuevas formas de cultura. 

4. Lúádicas: esparcimiento al aire, libre (paseos, marchas, acampadas), protección 
de la náturaleza y el medio ambiente, recreación (excursiones y juegos), gim- 

- nasia, educación física, deportes, yoga, Pai chichuan, artes marciales. 


5. Sociales: fiestas; organización y realización de reuniones y encuentros, movi- 
lización de grupos para hacer acciones conjuntas, acciones para consolidar y 
desarrollar organizaciones de base. 


Para la obtención de la información que permita la utilización de los indicadores 
propuestos, es necesario disponer de: 


o Registro de actividades: 
— hechas con otras instituciones; 


2 E, Ander-Egg, Metodología y práctica de la animación socio-cultural, Buenos 
Aires, Humanitas, 1991. 
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— realizadas sólo con el centro; 
— solicitadas por la gente: 
— no realizadas; 
— realizadas con apoyo técnico; 
— realizadas sin apoyo (autogestionadas). 
e Registro de personas (individual): 
— frecuencia de utilización del centro (asistencia); i 
— participación en actividades: 
— tipo de actividad; 
— frecuencia (n.° de veces). 


Otros indicadores tales como el número de contactos sociales, sólo podrán obte- 


ierse mediante encuestas. Asimismo, en el caso de no.existir los registros menciona- 
los, deberá recabarse la información mediante encuesta. 


Como ya decíamos en el punto 5 del capítulo, dependiendo del concepto 
de participación del que se parta, obtendremos distintos indicadores válidos 
Si por participación se entiende exclusivamente la asistencia a actividades E 
la utilización de instalaciones, pueden utilizarse los siguientes iadicadores?. 


© Frecuencia de realización de actividades en el centro: 


N.? de actividades realizadas en el período (semestre o año, 
N.” de sub-períodos (semanas o meses) 


FA = 


© Promedio de participantes por actividad realizada: 


PA= N. de participantes totales en el período 
N.°? de actividades realizadas en el período 


© Frecuencia de utilización de las instalaciones: 


FU= s 3 N.? de asistentes totales en'un período 
N.° de días en que ha permanecido abierto el centro durante el período 


; Pero, si además de la asistencia, interesa evaluar el tipo de participación 
(distinguiendo, por ejemplo, entre activos y pasivos), según sea el motivo 
de acudir al centro: usar las instalaciones o participar en actividades orga- 
nizadas de tipo social, un indicador útil puede ser el siguiente: da 
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e Índice de participantes activos en relación a los asistentes pasivos: 


N.°? de participantes en actividades por péríodo x 100 
wos N.” de asistentes al centro en el mismo período 


Ahora bien, podemos pensar que no es lo mismo el número de partici- 
pantes activos en relación a pasivos si son siempre las mismas personas las 
que son activas (que repiten muchas actividades), a que exista una gran 
movilidad y rotación de gente en actividades programadas. Por ello, para 
evitar esa limitación del indicador anterior, se puede emplear combinado con 


este otro: 


e Tasa de recurrencia a actividades: 


N.” de personas que asisten a más de una actividad por mes 
NN? total de socios del centro 


x 100 


Si nuestra concepción de participación es más amplia —considerándola 
como un instrumento para la autogestión de los servicios, por ejemplo—, 
adernás de los indicadores antes mencionádos, necesitaremos utilizar otros 
que combinen interés y participación en sus diferentes grados. Si a este 
respecto establecemos una sencilla tipología, nos encontramos con cuatro 
posibilidades de gestión de actividades, en lo que a participación e interés 


de la gente se refiere: 


— actividades propuestas por los técnicos y profesionales del centro y 
realizadas/ejecutadas por los mismos (la gente participa accediendo al 
servicio o actividad); 

— actividades propuestas por los usuarios, pero realizadas/ejecutadas por 
los técnicos (la gente propone la actividad, pero la organizan los pro- 
fesionales); 

— actividades propuestas por los técnicos/profesionales, pero ejecuta- 
das/organizadas por los usuarios (la gente organiza y gestiona la ac- 
tividad, habiendo sido la iniciativa de los profesionales); 

— actividades propuestas y ejecutadas/organizadas por los usuarios (es- 
taríamos ante el caso de una actividad totalmente autogestionada des- 
de el punto de vista de la participación de la gente involucrada). 


Con ello podemos utilizar indicadores parciales y —ponderándolos— 
construir un posible índice general de interés y participación: 
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e Grados parciales de interés y participación en el centro: 


N.” de actividades, realizadas en su totalidad por la gente 


Liz 

pl N.’ total de actividades realizadas 190 
L = N.” de actividades realizadas a propuesta de la gente con apoyo técnico. 

p2 N.> total de actividades realizadas Kao 


L= N.? de actividades realizadas por la gente a propuesta de técnicos 100 
= x 


P3 N.° total de actividades realizadas 
I= N.° de actividades realizadas por técnicos y a iniciativa de técnicos 
pt N.° total de actividades realizadas x100 
e Índice general de interés y participación en el centro: 
. % 1, x 4 + % lx 3+% 1,Xx2+% L4X1 
IG;= - = - x 100 
N.° total de actividades realizadas 


El mismo procedimiento puede emplearse para construir un índice ge- 
neral de iniciativa social: 


e Grados parciales de iniciativa social: 


N.° de actividades propuestas por la gente 


L = - 
sl N.° total de actividades realizadas x109 
Ls N.” de actividades propuestas por el personal ‘técnico 
2 N.? total de actividades realizadas 109 
e Índice general de iniciativa social: 
(% I X 2) + (% I2 X 1) 
IG = s 2 x 100 


N.° total de actividades realizadas 


Y, si a estos dos índices generales le damos el mismo valor (no se pon- 
deran), podemos establecer un nuevo índice general de iniciativa social, in- 
terés y participación combinado: 
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e Índice general de iniciativa social, interés y participación en el centro: 


IG IG, + IG, 


ps 3 


También puede considerarse un indicador referido a la efectividad rela- 
tiva de las propuestas de la gente en relación a los técnicos/profesionales, 
lo que nos permitiría comparar su evolución temporal relacionada con los 
índices anteriores. 


o Índice de efectividad de las propuestas de la gente en relación a las propuestas 
de los técnicos: 


% de actividades propuestas por la gente que han sido realizadas 
Eep = — o de actividades propuestas por los técnicos que han sido realizadas 


Observación: El % de cada grupo corresponde a las actividades realizadas en relación 
al total de actividades propuestas (realizadas y no realizadas) de dicho grupo. 


Si se desea contar con un listado total de indicadores de gestión de 
servicios para tercera edad, incluyendo los servicios y atención prestada en 
los servicios sociales generales, se podrían agregar los siguientes, referidos a 
tiempos-de dedicación y gestión presupuestaria: 


Total horas/mes dedicadas a trabajo individual-familiar con tercera edad 
N.” total de casos de tercera edad en atención individual-familiar 


T/C = 


Total horas/mes dedicadas a trabajo individual-familiar con tercera edad 
TER = N? total de casos de tercera edad.resueltos en atención individual-familiar 


Total horas/mes de trabajo comunitario con tercera edad 


PAGS N7 total de actividades comunitarias realizadas con tercera edad 
Costos (totales o por conceptos) de atención indiv.-familiar en tercera edad 
AE çon 7? total de casos de tercera edad 
CIAC= Costos (totales o por conceptos) de acc. comunitaria eri tercera edad 


N. total de actividades comunitarias de tercera edad 
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2. INDICADORES DE EVALUACIÓN DE RESULTADOS O EFECTOS 
EN PROGRAMAS DE EDUCACIÓN PARA LA SALUD 


Con este ejemplo queremos ilustrar, de una manera sencilla, el 
proceso de elaboración de indicadores de evaluación. Está refe- 
rido a un programa de educación para la.salud destinado a 
diabéticos en un Centro de Atención Primaria, cuya evaluación 
realizamos en 1990. La fuente de obtención de datos en este 
caso ha sido una encuesta a los usuarios del programa «antes» 
y «después» de ejecutado el mismo, para comprobar los efectos 
del curso de manera controlada ?. 


Marco de referencia o encuadre de la evaluación: 


El objeto de evaluación (QUÉ) en este caso, es el resultado/efectos que en 
la población destinataria tiene un curso de educación para la salud (diabé- 
ticos y familiares participantes del mismo). 

El objetivo de la evaluación, (PARA QUÉ) es establecer y valorar los 
posibles cambios de comportamientos y actitudes respecto a la enfermedad 
en los participantes. Es decir, no importaba tanto la evalúación de los co- 
nocimientos adquiridos, como el hecho de la modificación de hábitos, acti- 
tudes, etc., en los pacientes. 

Los destinatarios de la evaluación (PARA QUIÉN) eran los profesio- 
nales del Centro de Salud, responsables de dicho programa. 


Establecimiento de variables e indicadores: 


El efecto principal que se quería lograr con el programa era: «aumentar el 
nivel de salud de los diabéticos, mediante la educación grupal, para una 
mejor adaptación y autonomía personal». Esta finalidad se desglosaba en 
diversos objetivos específicos, de entre los cuales se fueron perfilando los 
aspectos a evaluar: 


— autonomía del enfermo respecto a su enfermedad y al personal sanita- 
rio; y 

— autorresponsabilidad individual ante las prescripciones sanitarias; 

— actitudes ante la enfermedad (nivel de asunción de la misma). 


3 En este anexo se omite todo lo relativo al diseño de esta investigación evaluativa, 
que es cuasi-experimental con grupo de control no equivalente, ya que ello nos apar- 
taría en exceso del tema que nos ocupa relativo a indicadores de evaluación. 
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Posteriormente se elaboró el listado de variables (dependientes y de con- 
trol) y se operacionálizaron en indicadores. El resultado de este proceso 
puede quedar resumido de la siguiente forma: 


Variables: 


a. De control: 


© sexo; 

e edad; 

O tipo de tratamiento que realiza; 

e nivel de instrucción (recogido en la historia clínica). 


b. Dependientes: 


1. 


2. 
3. 
4, 


Autopercepción del nivel de conocimientos sobre la diabetes. 
Autonomía ante la enfermedad. 

Aceptación de la enfermedad. 

Autorresponsabilidad individual ante el tratamiento y las pres- 
cripciones. 


5. Actitudes y opiniones ante el hecho de estar enfermo y sus con- 


secuericias de tipo psicosocial. 


Indicadores correspondientes a las variables dependientes: 


1.1. 


2.1. 
2.2. 
2.3. 
2.4. 
2.5. 
2.6. 
2.7. 


2.8. 
2.9. 
2.10. 


Grado de percepción subjetiva de la cantidad de conocimientos 
poseídos sobre la diabetes. ] 

Grado de control autónomo del tratamiento farmacológico. 
Capacidad de identificación de niveles de hiperglucemia. 

Tipo de reacción ante la hiperglucemia. : 

Capacidad de identificación de niveles de hipoglucemia. 

Tipo de reacción ante la hipoglucemia. 

Grado de previsión ante situaciones de hipoglucemia. 

Grado de necesidad de consulta médica en situaciones de hipo e 
hiperglucemia: ` 

2.7.a. Frecuencia de consulta sanitaria. 

2.7.b. Número anual de complicaciones. 

Tipo de control de dieta. 

Frecuencia del control de dieta. 

Existencia de cuidados especiales con la higiene personal: 

2.10.a. Frecuencia de los mismos. 

2.10.b. Localización corporal de los cuidados. 

2.10.c. Uso de productos especiales. 
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3.1. Nivel de interés por la adquisición de conocimientos sobre la enfer- 
medad. 

3.2. Nivel de importancia otorgada al conocimiento de la enfermedad. 

3.3. Frecuencia de la demanda de seguimiento e información. 

3.4. Importancia que se le otorga a la enfermedad (dado que no pudo 
elaborarse un indicador directo, para medir el nivel de preocupa- 
ción/limitación que la enfermedad producía, se optó por uno in- 
directo: vivencia y tipo de limitaciones que supone la enfermedad 
en el paciente). 

3.5. Importancia práctica otorgada al cumplimiento de las prescripcio- 
nes sanitarias (mediante la frecuencia de cumplimiento). 

3.6. Existencia y variaciones temporales en el autocontrol de la enferme- 
dad. 

4.1. Nivel de cumplimiento de días y horas de consulta. 

4.2. Existencia de control de peso. 

4.3. Frecuencia de control de peso. 

4.4, Control de dosis y control de horario de administración. 

4.5. Existencia de ejercicio físico diario: 

4.5.2. Tipo de ejercicio. 
4.5.b. Tiempo de práctica. 

. Existencia de precauciones especiales, 

4.6. Posesión de cartilla de diabético. 

4.7. Grado de utilización de la cartilla de diabético. 

4.8. Posesión de ficha identificativa de diabético. 

4.9. Existencia de controles periódicos completos. 

4.10. Frecuencia de los mismos. 

5.1. Actitudes y opiniones sobre capacidad de trabajo de un diabético. 

5.2. Actitudes y opiniones sobre responsabilidad del control de la salud. 

5.3. Actitudes y opiniones sobre las limitaciones de la enfermedad. 

5.4. Actitudes y opiniones acerca del conocimiento público de la situa- 
ción de diabético. 

5.5. Actitudes y opiniones acerca de las renuncias a causa de la enferme- 


dad. 


Por último, se tradujeron en. forma de cuestiones o preguntas cada uno 
de estos indicadores, elaborándose el cuestionario correspondiente y que 
reproducimos a continuación. (En este cuestionario se puede apreciar el 
modo en que cada indicador se transforma en preguntas para recoger la 
información; ya que están redactadas en el mismo orden que los indicadores 
del listado anterior.) 
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CUESTIONARIO DE EVALUACIÓN 
CURSO DE EDUCACIÓN PARA LA SALUD: DIABÉTICOS 


DATOS DE IDENTIFICACIÓN 


Respecto a la diabetes, Ud, ¿cuál cree que es su nivel de conocimiento actual? 
— Sabe todo, o casi todo 
m 


Durante el último mes, alguien le tuvo que recordar que se inyectase O se tomase hs 
pastillas? 


6) 


Aproximadamente, en promedio, ¿cuántas veces por semana?: 


Durante el último mes, en alguna 
del horario por haberlo ólvidado?: 


— Sí 
—No.. 
—NC 


19] 


P. 3.a. En promedio, ¿cuántas veces por semana?: 
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P.4 


P. 5. 


P. 8. 


P. 9. 


P. 10. 
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¿Se da Ud. cuenta cuándo sufre una bajada de azúcar?: 
01 
02 (9) 
-01 
02 
03 10 
E Py (10) 
— Otra cosa (especificar) 09 
P. 4.b. ¿Qué come): 
— Azucarillos, glucosa, zumo de naranja. 05 
— Frut: 06 
— Bocadillos u otra cosa 07 
En este momento, ¿lleva Ud. algo para 'el caso de una bajada de azúcar? 
“si o an 
—No. 02 (pasir a pregunta 8) 
¿Qué es lo que lleva?; 
(Especificar) ... (12) 
¿Dónde lo lleva? 
(13) 
— Nada. 01 
— Ir a la consulta médic: 02 
03 
04 
— Ver el azúcar que tengo 05 as 
— Analizar la orina.. 06 
07 
08 
¿Con qué frecuencia va Ud. a la consulta médica?: (Leer frases) 
— Menos de una vez por trimestre 01 
— Una vez por trimestri 02 
— Una vez cada dos mes: 03 (15) 
— Una vez al mes. 04 
— Dos o más veces al mes 05 
En el último año, ¿Ha sufrido algún ingreso hospitalario a causa de la diabetes?: 
01 
02 4 (16) 


P. 10.a. ¿Cuántos?. 
(Indicar n.”en casilla) 


P. 12. 


P, 13, 


P. 14. 
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¿Controla Ud. lo que come?; 


P. 11.a. ¿De qué forma? (Respuesta múltiple) 


— En el tipo de alimentos 03 
— En el peso o cantidad... 


¿Con qué frecuencia sigue Ud. la diera prescrita? 


— Siempre..... 
— Bastantes veces 


(17) 


(18) 


En esas ocasiones que sigue la dietá; ¿qué tipo de dieta sigue?: (Leer frases) 


— Todos los días lo mismo... . 06 
-— Cada día de la semana lo mism . 07 
— Varío la dieta según mi criteri . 08 
— Varío la dieta según la tabl . 09 


¿Tiene Ud. algún tipo de cuidado especial con su higiene personal?: 


01 
02 
00 


(Pasar a P, 17 si la respuesta es No o NC) 


¿Con qué frecuencia?: (Leer frases) 

— Diariamente... . 01 

— Día sí, día no 02 

~~- Una vez por semana.. 03 
04 


— Menos de una vez por semana 


. ¿Cuida de manera especial alguna parte de 5u cuerpo?: 


oL 


i o g 


(19) 


(20) 


en) 


Aspecto: 


P. 16. 
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¿Utiliza algún producto especial?: 
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(22) 


P. 16.a. ¿Cuál? 


— Jabón ácido/neutro 03 
— Polvos secantes... 04 
— Cremas hidratantes 05 


P. 17. 


P. 18. 


P. 19. 


P. 20. 


¿Ud. busca información sobre la diabetes?: 


¿De qué forma?: 


— Preguntando al médico o enfermero ..... 03 
— Preguntando a otros diabétic 04 
— Mediante lecturas . 05 
— Por televisión 06 


— Haciendo cursos 


Para Ud., conocer la diabetes es: (Leer frases) 


— Muy importante .. 
— Bastante importante. 
— Poco importante... 
— Nada importante 
— NC... 


P. 18.a. 


¿Por qué? 


(4) 


Cuando acude a la consulta médica o de enfermería, ¿suele Ud. preguntar cosas adicio- 


nales acerca de su enfermedad a la persona que lo atiende?: (Leer frases) 


01 
02 
03 
04 
05 
00 


— Sí, siempre... 
— Sí, muchas veces... 


Ser diabéticos, ¿le'supone a Ud. alguna limitación?: 
01 
02 
03 


0 


05 
06 


(25) 


(26) 
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P. 24. 


Me 


= — Transporte y viajes.. 
— Vida social... 
— Otros (especificar 
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y 
¿Suele Ud. cumplir con las prescripciones sanitarias?: (Leer frases) 


— Sí, siempre... . 01 
~ Bastantes veces . 02 
B . 03 

. Y 

. 05 

. 00 


P. 21.a. ¿Por qué?: 


(7) 


En el último año, ¿ha llevado Ud. algún tipo de control de su diabetes?: 


¿Con qué frecuencia?: 


— Diariamente 
— Mensualmente. 


— De vez me cuando, al notar algún sínto- 


Cúando-Ud. va a la consulta, suele hacerlo: (Leer frases) 
01 


— El día y hora indicados ... 
zR ía indicado, pero a la hora que puc- 


— Todos los días 
— Todas las semanas 


— Pasa más de un mes entre cada 
— Sólo cuando noto que engordo 


¿Cada cuánto tiempo?: (Leer frases) 


(29) 


control 07 
... 08 
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P. 26. 


P. 28. 


P. 30. 


P. 31. 


¿Se pone siempre la misma dosis de medicación?: 


61 


P. 25.2. ¿Por qué la varía?: 


¿Se inyecta o se toma las pastillas siempre a la misma hora?: 
— Sí .. 01 


—No.. Sy) (32) 


—NC 


P. 26.a. ¿Cuál suele ser el retraso?: 


— Menos de una hora ... 03 
— De una a dos hora: 04 
— Más de dos horas .. 05 


Realiza Ud. diariamente algún tipo de ejercicio físico?: 


—sí ol ; 
—No 02 63) 
—NC 00 


(pasar a P. 31 si la respuesta es No o NC) 


¿Qué tipo de ejercicio realiza?: (Leer frases) 


ot 
02 
03 
04 (34) 
05 
06 


¿Cuánto tiempo dedica cada día a ese ejercició?: (Leer frases) 


o 
02 65) 
03 


2 y Go) 


— Menos de media hora... 


P. 30.2. ¿Cuál? 


¿Tiene Ud. un cuaderno de diabético?: 

01 

02 (37) 
00 


(pasar a P. 33 si la respuesta es No) 


ios 
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P. 32. ¿Lo utiliza?: 


P. 33. 


(38) 


P, 32.a. ¿Con qué frecuencia?: 


— Semanal . 

—— Quincenal 
— Mensual... 
— Cuando me acuerdo 


Ll P. 32b. ¿Por qué?: 


. ficha identificativa de diabéticos? 


P. 33.a. ¿Por qué... 


P. 34, ¿Hace Ud. alguno de estos controles? (Indicar cuáles de ellos) 


0 (40) 
02 
| o3 
- 09 
00 


P. 34.a. ¿Cada cuánto tiempo?: 


Para finalizar esta entrevista, quisiera saber su opinión sobre algunas. cuestiones relacionadas 


con la diabetes. 


Para ello, le voy a leer cinco frases, que expresan distintas opiniones. Le reitero que se trata 


de opiniones y no de hechos. Si necesita que se las lea más de una vez o más despacio, j. 


Desearía que Ud. me dijera si está de acuerdo o no, con esas opiniones; y en qué grado está 


de acuerdo, en desacuerdo o se considera indeciso. Si le ayuda, puede observar esta tarjeta (mos- 
trar tarjeta). 


LA CAPACIDAD DE TRABAJO DE UN DIABÉTICO ES IGUAL QUE LA DE UNA 
PERSONA NORMAL. 


— Totalmente de acuerde 
— De acuerdo en ciertos aspecto! 
-— Indeciso..... 
— Desacuerdo en ciertos aspecto: 
— Totalmente en desacuerdo... 


61) 


82882 
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EL CONTROL DE LA SALUD DEL DIABÉTICO ES, SOBRE TODO, RESPONSABI- 
LIDAD DEL PERSONAL SANITARIO. 


— Totalmente de acuerdo... 
— De acuerdo en ci 
— Indeciso....... 

— Desacuerdo en ciertos asp: 
— Totalmente en desacuerdo. 


(42) 


ES PREFERIBLE HACER Y COMER LO QUE UNO QUIERA, AUNQUE VIVA ME- 
NOS, QUE PRIVARSE DE CIERTAS COSAS Y VIVIR UN POCO MÁS. 


~ Totalmente de acuerdo... 
— De acuerdo en 
— Indeciso.... 
— Desacuerdo en ciertos aspecto: 
— Totalmente en desacuerdo... 


(43) 


CUANTAS MENOS PERSONAS CONOCIDAS SEPAN QUE SOY DIABÉTICO/A ME 
SENTIRÉ MEJOR. 


— Totalmente de acuerdo......... P 
— De acuerdo en ciertos aspezcos .. 
— Indeciso..... 
— Desacuerdo en ciertos aspectos . 
— Totalmente en desacuerdo... 


. 01 
- 02 
. 03 (44) 
.04 
. 05 


DESDE QUE SOY DIABÉTICO ME SIENTO OBLIGADO A TENER QUE RENUN- 
CIAR A MUCHAS COSAS QUE ME GUSTAN. 


— Totalmente de acuerdo... 
— De acuerdo en ciertos aspecto: 
— Indeciso...... 
— Desacuerdo en ciertos aspecto: 
— Totalmente en desacuerdo... 


(45) 


—MUCHAS GRACIAS POR SU COLABORACIÓN— 


A CONTESTAR POR EL ENCUESTADOR: 


1) Desarrollo de la entrevista: 


01 

02. 

. 03 (46) 
04 

05 


2) ¿Cree Ud. que el entrevistado ha sido sincero en sus respuestas? 
—Sí.. ot 


02 (47) 
— En unas sí, y en otras ne 03 


3) Si en la pregunta anterior la respuesta es alguna de las dos últimas (02 ó 03), indique, 
si fuera posible, el número de las preguntas que —a su juicio—, el entrevistado no ha 
respondido con sinceridad. 
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3. INDICADORES DE EVALUACIÓN DE PROCESOS DE PARTICIPACIÓN 


COMUNITARIA EN SALUD 
ropuesta de 


Con este último ejemplo queremos ofrecer una p 
indicadores de evaluación, cuya elaboración ha seguido un pro- 
ceso distinto de los anteriores. Se trata de indicadores descrip- 
lidez es consensuada o intersubjetiva, de carácter 
no estadístico, y que permiten comprobar la evolución, en el 
espacio y el tiempo, de los principales factores/ dimensiones com- 
ponentes de la participación comunitaria en salud *. 


tivos cuya va 


de estos indicadores es evaluar y “describir 


los cambios registrados en el grado de participación en un momento dado, 
comparándolo con otro momento O con otra comunidad/grupo. El método 
se centra en el proceso de cambio y en una forma participativa de evaluar 
la intervención de la comunidad en los programas de salud (si še consulta 
a todas las partes implicadas). 

A los efectos de esta propuesta, se entiende la participación de la comu- 
nidad como «un proceso social en el que grupos específicos, que comparten 
ciertas necesidades y viven en una zona geográfica definida, tratan activa- 


mente de identificar esas necesidades y adoptan decisiones y establecen me- 


canismos para atenderlas» 7 


De esta definición surgen c: 
participación comunitaria, de las cuales pueden 
para formular indicadores y, consecuentemente, 


cación consensuadas: 


El objetivo de la utilización 


laramente cinco factores o dimensiones de la 
extraerse algunas preguntas 
establecer escalas de califi- 


* Extractado y adaptado de W. Bichmann, 
medir la participación de la comunidad», en Foro 


Science and Medicine, 26(9), 1988. 


S. B. Rifkin y M. Shrestha, «Cómo 
1 Mundial de la Salud, vol. 10, 1989. 
5 5, B. Rifkin et al, «Primary health care: on measuring participation», en Social 


p 
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Factores o 


dimensiones: Preguntas que han de servir para: 


Evaluación de 
necesidades 


ca quién o quiénes han intervenido en el 

eo necesidades de salud, en qué me- 
ha participado la gente, cómo se ii ifi 

las necesidades, etc, RO 


Liderazgo Averiguar qué tipo de liderazgo se ejerce en la 
Cornunidad, qué tipo de intereses representan éstos, 
en qué medida responde el liderazgo a las necesi- 
dades de los más marginados, qué tipo de mejoras 
han producido las decisiones de los dirigentes, etc. 
Organización Saber si los planificadores proponen crear nuevas 
estructuras o integrar los programas de salud en las 
existentes, si se han creado nuevas organizaciones 
en la comunidad, si las organizaciones son rígidas 
o flexibles al contexto y las circunstancias, qué cam- 
bios se han producido en las organizaciones desde 


la implantación de los`prògramas de'salud, etc. 


dira de Determinar en qué medida se han obtenido apoyos 
ecur: externos al programa en sí, qué ha aportado la co- 


munidad, a qué intereses res i j 
, onde la: 
de recursos, etc. i ds 


Gestión i i 
Determinar si las responsabilidades recaen en los 
profesionales o si en la toma de decisiones intervie- 
ne E comunidad, si se han modificado las estructu- 
Tas decisionales en la comunidad, a fav ié 
S , Or di 
y de qué forma, etc. a 


T 


irop aa 


ESCALA DE CALIFICACIÓN DE LOS INDICADORES DE PARTICIPACIÓN DE LA COMUNIDAD 


Indicador 


1. Pequeña 


Z. Restringid: 


4. Abiarta 


3. Amplia 


Liderazgo 


Organización 


Movilización de 
recursos 


Gestión 


Evaluación de las 
necesidades 


Parcialidad, es decir, mi- 
noría rica, imposición 
del presidente local; el 
personal de salud asume 
el liderato; a bien su fal- 
ta de heterogeneidad en 
el comité de salud local. 


Comité de salud local 
impuesto por los servi- 
cios de salud e inactivo. 


Poca aportación de re- 
cursos por la comunidad. 
Servicios gratuitos. El 
comité local no decide la 
asignación de los recur- 
SOS» 


A cargo de los servicios 
de salud. El líder de sa- 
lud de la comunidad sólo 
es supervisado por el 
personal de salud. 


Impuesta desde el exte- 
rior, con punto de vista 
médico y profesional (H- 
der, agente de salud de 
la comunidad, personal 
del puesto de salud), o 
bien: Programa de cons- 
trucción de letrinas im- 
puesto a la comunidad. 


El comité de salud local 
no funciona pero el líder 
de salud de la comuni- 
dad actúa independien- 
temente de los grupos 
de intereses. 


Comité de salud local 
impuesto por los servi- 
cios de salud pero con 
alguna actividad. 


Honorarios por los servi- 
cios, El comité no con- 
trola la utilización del di- 
nero recaudado. 


El líder de salud admi- 
nistra independiente- 
mente con alguna inter- 
vención del comité, Su- 
pervisión exclusivamen- 
te a cargo del personal 
de salud. 


El punto de vista médico 
domina un criterio «edu- 
cativo», También se tio- 
nen en cuenta los intere- 
ses de la comunidad. 


El comité fue impuesto 
por los servicios de sa- 
lud pero pasó a ser ple- 
_namente activo. 
Aportación periódica de 
fondos de la comunidad, 
sin participación en el 
control de los gastos. 


Autoadministración del 
comité, que no participa 


actividades del líder de 
salud local 


El líder representa acti- 
vamente el punto de vis- 


Comité activo con inicia- 
tiva. 


El comité coopera acti- 
vamente con otras orga- 
nizaciones de la comuni- 
dad. 


Aportación periódica de 
fondos de la comunidad, 
èl comité controla la uti- 
lización de los fondos. 


Autoadministración del 
comité, que participa en 
la supervisión de las ac- 
tividades del líder de sa- 
lud local. 


El comité representa ac- 
tivamente el punto de 
vista de la comunidad y 
evalúa las necesidades, 


El comité representa 
toda la diversidad de in- 
tereses de la comunidad 
y controla las activida- 
des del líder de salud. 


Las organizaciones Co- 
munitarias existentes 
participaron en la ċrea- 
ción del comité, 


Volumen considerable 
de recursos proceden- 
tes de honorarios o de 
orígenes diversos. El co- 
mité decide la utilización 
de los fondos, 


Líder responsable ante 
el comité, que lo super- 
visa activamente, 


Los miembros de la co- 
munidad' èn general in- 
tervienen en la evalua- 
ción de las necesidades, 
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FIGURA 3. 


Cambios entre la primera y la segunda evaluación. 


Capítulo 


La evaluación económica de los 
programas sociales 


el . Tipos de evaluación económica. S 


2. El análisis de costo-beneficio como procedimiento para me- 
dir la eficiencia. 


3. Implementación del análisis de costo-beneficio, 


a. Explicitación del marco de referencia. 

b. Identificación de las metas y objetivos del proyecto. 

c. Realización del análisis de costo-beneficio propiamente 
dicho. 


4. Diferencias entre la evaluación privada y la evaluación so- 
cial en la aplicación del análisis de costo-beneficio, 


5. El análisis de costo-eficacia como procedimiento para me- 
dir la eficiencia. 


6. Consideraciones prácticas sobre el análisis de costo-utilidad, 
como procedimiento para evaluar y seleccionar programas 


C alternativos. E, 


En los últimos años se tomó conciencia de la necesidad de aplicar 
los conceptos teóricos convencionales del análisis económico a la 
política social y, dentro de ella, a la prestación de servicios sociales 
y a los programas de acción social en general. Veamos por qué. 

El análisis económico se basa en tres hechos fundamentales que 
están en la base del funcionamiento y organización de la producción 
y el consumo en todas las instituciones: 


— escasez de recursos y necesidades múltiples, 

— posibilidad «de utilización alternativa de los mismos, 

— valoración relativa de objetivos concurrentes (individuales y 
colectivos) traducida en prioridades económicas. 


Desde el punto de vista operativo, el problema económico fun- 
damental que confronta la política social puede resumirse en lo si- 
guiente: cómo asignar recursos escasos de manera que se pueda lo- 
grar una satisfacción óptima de las necesidades humanas priorizadas. 

Por ello, la evaluación de la eficacia de los programas y servicios 
sociales tiene un componente económico claro: si la eficacia la defi- 
nimos como la capacidad de producir un resultado máximo con un 
esfuerzo constante o un resultado dado con el mínimo esfuerzo, 
entonces es necesario examinar la rentabilidad de esos programas 
para encontrar la solución menos cara que permite alcanzar un ob- 
jetivo determinado, o para sacar el máximo provecho de un gasto 
dado. 

Ahora bien, también debemos advertir contra el uso (y abuso) 
que puede hacerse de la evaluación económica, a fin de justificar 
recortes presupuestarios. En estos casos, estaríamos ante un tipo de 
pseudo-evaluación que ya examinamos en el primer capítulo. Por 
ello, nos parece oportuno transcribir el siguiente argumento de Bux- 
baum: «La presión política para limitar el gasto de la asistencia social 
ha convertido el análisis económico en la racionalización que recorta 
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el presupuesto [...]. Actualmente, tal vez sea mejor repudiar el aná- 
lisis económico y perseguir una acción política para alterar el con- 
texto político, Cuando la nación esté preparada para buscar a la vez 
la eficiencia y un mejor bienestar social, tal vez pueda probarse de 
nuevo la toma de decisiones racionales» 1. 

Por otra parte, «el persistente enfoque de aquellos que hablan en 
términos de coste-beneficio y presupuesto por objetivos ha resultado 
desconcertante, ya que ha parecido reflejar una preocupación por el 
dinero más bien que por las personas, una actitud según la cual, las 
necesidades de la gente deben ser acomodadas a consideraciones fi- 
nancieras, en vez de amoldar los recursos financieros para que sa- 
tisfagan las necesidades de las personas. Sin embargo, al aplicarse 
este enfóque a la idea de un sistema de servicios sociales orientados 
hacia una meta, no puedo argumentar contra el concepto» ?. 

En definitiva, es necesaria la evaluación económica de los pro- 
gramas sociales, tanto por razones de responsabilidad social de las 
instituciones y organismos prestadores de servicios, como por crite- 
rios de rentabilidad que permiten analizar cuál es la mejor alternativa 
de intervención considerando el esfuerzo que absorbe y sus resulta- 
dos. Dicho en otras palabras, los programas sociales para ser social- 
mente aceptados y aceptables, no basta que persigan objetivos po- 
sitivos, es necesario que los logren con eficacia y eficiencia, para que 
los recursos existentes tengan el máximo rendimiento en términos 
de resultados e impacto. 


1. TIPOS DE EVALUACIÓN ECONÓMICA 


Entendiendo la evaluación económica en su sentido más amplio, po- 
demos distinguir dos grandes tipos de evaluación: la que relaciona 
procesos (servicios prestados) con recursos movilizados, y la que 
relaciona efectos, resultados o consecuencias, con recursos invertidos 
o servicios producidos. A la primera, que se expresa en medidas tales 
como número de servicios por cantidad de dinero invertido, o nú- 


1 C. B. Buxbaum, «Cost-Benefit Analysis: The Mystique versus Reality», en So- 


cial Services Review, núm. 55, 1981. . 
2 A. W. Shyne, «Evaluation in Child Welfare», en Child Welfare, núm. 55, 1976. 


Citado por M. Knapp, La economía de los servicios sociales, Barcelona, Euge, 1989. 
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mero de servicios por profesional, se le denomina también produc- 
tividad. Al segundo.tipo, que se expresa en valores monetarios, se 
le denomina en términos de rendimiento o rentabilidad económica. 

A los efectos de este trabajo, lo que aquí queremos examinar son 
las distintas clases o modalidades de evaluación que pertenecen al 
segundo tipo. Es decir, las distintas formas de evaluar la rentabilidad 
económica de los programas sociales. 

Para facilitar una visión de conjunto de las mismas, hemos ela- 
borado el siguiente cuadro; 


MODALIDAD DE MEDIDA DE MEDIDA DE 

EVALUACIÓN COSTOS RESULTADOS O EFECTOS 
— a | 

Análisis de Unidades Unidades 


costo-beneficio 
Análisis de 
costo-eficacia Monetarias 
Análisis de Unidades Utilidades 
costo-utilidad Monetarias percibidas 


por el individuo 
de forma subjetiva 


Monetarias Monetarias 


Unidades 


Unidades de 
resultados 


El análisis de costo-beneficio se basa en un principio muy sim- 
ple: compara los beneficios y los costos de un programa o proyecto 
y, si los primeros exceden a los segundos, se dispone de un primer 
juicio que indica su aceptabilidad. Si los costos superan a los bene- 
ficios, el proyecto, en principio, se rechaza °. Como en esta forma 
de evaluación económica, tanto costos tomo beneficios se expresan 
en unidades monetarias, la comparación: no debe ser compleja en 
términos de definición conceptual. Se trata de un procedimiento útil 
para elegir inversiones, ya que permite apreciar beneficios futuros en 
relación a los costos que deben afrontarse en el momento presente. 
Además, puede proporcionar información sobre las consecuencias 
económicas de las medidas o programas alternativos. 


2 E. Cohen y R. Franco, Evaluación de proyectos sociales, Buenos Aires, Grupo 
Editor Latinoamericano, 1988. 
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El análisis de costo-eficacia, también denominado análisis de 
costo-efectividad, es muy parecido al análisis de costo-beneficio 
—comparten los mismos fundamentos, teóricos y metodológicos—, 
sin embargo tienen aplicaciones diferentes y dan respuestas igualmen- 
te diferentes. Básicamente es igual al análisis de costo-beneficio, con 
la diferencia de que los beneficios no están expresados en unidades 
monetarias, sino en unidades de resultados. Por ello, sw aplicación 
a la evaluación de programas sociales, a menudo es más apropiada. 
El hecho de que muchos beneficios sociales no puedan traducir- 
se monetariamente hace que el análisis de costo-efectividad o de 
costo-eficacia sea, en la práctica, más empleado. Su finalidad es- 
triba en determinar si existen patrones más eficientes de provisión 
de servicios en comparación con los patrones observados o suminis- 
trados corrientemente, comparando varios programas o métodos de 
intervención. 

En resumen, el análisis de costo-eficacia no requiere reducir a un 
mismo denominador los beneficios y costos. La efectividad de un 
programa para alcanzar las metas dadas se relaciona con el valor 
monetario de los recursos que se incluyen en el mismo *, de forma 
tal que «programas con objetivos similares se evalúan, y los costos 
de programas alternos para lograr la misma meta.se comparan» *. 

El análisis de costo-utilidad en cambio, compara y valora la 
relación existente entre costos (expresados en unidades monetarias) 
y resultados, considerando el valor de los efectos en los individuos 
a los que ha afectado, o que tienen un interés legítimo en la evalua- 
ción del programa, expresado por medio de medidas subjetivas, es 
decir, beneficios percibidos por el mismo individuo en términos de 
satisfacción *. 

La ventaja que este tipo de análisis presenta sobre los dos pri- 
meros es que el valor intangible otorgado a ciertos beneficios no 
puede traducirse en valor monetario o unidades de resultados como 
requeriría un análisis de costo-beneficio o de costorefectividad, y sí 
puede ser. considerado en el de costo-utilidad (la- utilidad aquí está 


* H. Levin, «Cost-effective Analysis in Evaluation Research» en M. Guttentag y 
E. E. Struening (dirs.), Handbook of Evaluation Research, vol. 2, Beverly Hills, Sage, 
1975.. = 

5 P, H, Rossi y. H. E: Freeman, Evalmación: un enfoque sistemático para progra- 
mas sociales, México, Trillas, 1989. 

€R. Pineault y C. Daveluy, La planificación sanitaria. Conceptos, métodos y es- 
trategias, Barcelona, Masson, 1987. 
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referida a los beneficios tal y como son vividos por los individuos 
afectados). Por otra parte, si bien es cierto que tiene algunas limita- 
ciones, el análisis de costo-utilidad permite la comparación entre 
diferentes alternativas de intervención, desde el punto de vista del 
valor que las personas afectadas le otorgan a los objetivos que se 
persiguen. La principal limitación consiste en el hecho de que este 
tipo de evaluación sólo es viable en el caso de que existan varias 
alternativas de elección, careciendo prácticamente de utilidad en los 
casos de «programa único», salvo que se preterida obtener informa- 
ción ex-post sobre el valor otorgado por las personas a los efectos 
que se hayan producido con la intervención (en cuyo caso, existen 
otros tipos de evaluación menos complejos). 


A cóntinuación examinaremos más detenidamente cada una de 
estas formas de evaluación económica, centrándonos en los aspectos 
metodológicos y algunas de sus implicaciones prácticas. 


2. EL ANÁLISIS DE COSTO-BENEFICIO COMO PROCEDIMIENTO 
PARA MEDIR LA EFICIENCIA 


Como acabamos de examinar, el análisis de costo-beneficio ?, como 
concepto es claro y sencillo, pero su aplicación en proyectos de tipo 
social es harto difícil. 

Sabemos que consiste en comparar los costos de un proyecto con 
los beneficios obtenidos, y descansa en «la proposición de que de- 
beríamos proporcionar servicios solamente si sus beneficios superan 
a sus costos... Los estudios de costo-beneficio hacen hincapié en la 
sencilla verdad de que la decisión de seguir o no determinada línea 
de acción depende tanto del costo como de los beneficios» $, Dicho 
de otra forma, «dado que los recursos son limitados, es preciso elegir 
entre los usos que compiten por ellos, y el análisis de proyectos es 
un método para evaluar las opciones de manera conveniente y com- 


7 Denominado también estudio de insumo-producto o curva de dosificación- 
respuesta. 
2 A, Williams, «The Cost-Benefit Approach», en British Medical Bulletin, vol. 30, 
núm. 3, Londres, 1974. 
t 
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prensiva. En esencia, el análisis de costo-beneficio valora los bene- 
ficios y los costos de un proyecto y -los reduce a un patrón de 
medida común. Si los beneficios exceden a los costos, medidos-todos 
con el patrón común, el proyecto es aceptable; en caso contrario el 
proyecto debe ser rechazado» °, 

Este procedimiento se utiliza para saber si el costo de ofrecer 
determinados bienes y/o. servicios es o no rentable. Con él se mide 
básicamente la eficiencia de un programa o proyecto, mediante la 
comparación de los recursos utilizados en la implementación del 
mismo y los beneficios obtenidos. Se trata de un análisis destinado 
a encontrar la solución menos cara para alcanzar un objetivo dado, 
o para sacar el máximo provecho de un gasto dado. 

La aplicación del análisis costo-beneficio se puede realizar tanto 
en el sector público como en el privado, o en el ámbito de las or- 
ganizaciones no gubernamentales; su función en cualquiera de los 
casos es la misma: ayudar a conseguir el mayor grado posible de 
eficiencia y rentabilidad. Sin embargo, hemos de advertir que no 
siempre un proyecto se debe evaluar en términos de eficiencia o 
rentabilidad. En álgunos casos el logro de determinados objetivos es 
deseable y necesario independientemente del costo, ya que existen 
razones políticas, sóciales o culturales por las que se considera que 
la realización del proyecto contribuye al logro de'algunos objetivos 
generales de la sociedad. Esto implica que la noción de rentabilidad 
no se puede circunscribir sólo a criterios de rentabilidad económica, 
ya que pueden existir criterios de rentabilidad política (no en sentido 
partidista, sino como interés de la sociedad global). Esto se resuelve 
parcialmente recurriendo a los llamados «precios sombras» de los 
que hablaremos más adelante. Todas estas consideraciones vienen al 
caso, para señalar que eh estas circunstancias no tiene razón de ser 
aplicar el análisis de costo-beneficio. 

Se puede aplicar —y ésta es la razón que lo hace útil para evaluar 
programas y servicios sociales— con el propósito de maximizar la 
rentabilidad de los mismos e incrementar consecuentemente la dis- 
ponibilidad financiera para otros programas y proyectos. En este 
caso existe una razón obvia: si los recursos asignados por el Estado 
son escasos, una mayor rentabilidad de los mismos, se convierte en 
un imperativo ineludible. 


? L. Squire y H. Van der Tak, Análisis económico de proyectos, Madrid, Tecnos-, 


Banco Mundial, 1980. 
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Este procedimiento de evaluación puede aplicarse: 


e de manera prospectiva (antes de realizarse el proyecto como 
evaluación ex-ante); 

e de manera retrospectiva (una vez realizado el proyecto como 
evaluación ex-post); É 

e en un momento determinado mientras se realiza un programa, 
para determinar si vale la pena o no continuar con el mismo; 
habida cuenta de su rentabilidad. 


En cualquiera de los casos, antes de emprender una evaluación 
de este tipo es preciso considerar los factores que puedan hacerla 
factible. En este sentido, los requisitos óptimos que, para realizar un 
análisis de costo-beneficio ex-post, señalan Rossi y Freeman *° nos 
parecen oportunos, a saber: 


— el programa debe tener fondos independientes o separados, 

— el programa debe haber rebasado su estado de desarrollo, a 
fin de tener certeza sobre la significación de sus efectos netos, 

— deben conocerse y poder estimar de forma válida la repercu- 
sión del programa y su magnitud. 

— los beneficios podrán reducirse a unidades monetarias, 

— los responsables de la toma de decisiones consideran la apli- 
cación de programas alternos, y no simplifican la cuestión 
sólo en el sentido de si se continúa o no un programa. 


De todos modos, independiéntemente del modo de aplicación o 
el momento de aplicación, el análisis de costo-beneficio consiste en 
identificar los beneficios sociales y los impactos positivos y negati- 
vos del programa (a los que se les ha asignado un valor en dinero) 
y compararlo con el total de los costos sociales. Esta comparación 
del total de beneficios y del total de costos sociales se hace asignando 
a unos y otros un valor en dinero. Para decirlo brevemente: es el 
denominador de la relación costo/beneficio, expresado en unidades 


“monetarias. 


Esto que como definición es simple, en la práctica es muy com-- 
plejo, y ello puede hacer que sea impracticable o poco pertinente en 
muchas evaluaciones porque: 


19 P, H: Rossi y H. E. Freeman, ob. cit. 
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e los procedimientos técnicos requeridos, por su complejidad, 
pueden no estar disponibles o ser innecesarios, 

e las controversias políticas y morales resultantes de poner los 
valores económicos en medidas de resultados pueden encubrir 
la pertinencia o minimizar la potencialidad del estudio, 

e al expresar los resultados en términos de eficacia, los costos y 
resultados pueden ser diferentes según se trate de las perspec- 
tivas y valores de los patrocinadores, evaluados y evaluado- 
res 3, 


De ahí que, como los mismos autores indican, no existe un aná- 
lisis de la eficacia que sea único, simple y «correcto». Y «las limita- 
ciones de estos estudios son reconocidas incluso por quienes defien- 
den con más vehemencia el análisis de costo-beneficio» *?: 

Dicho en otras palabras, para realizar un análisis de costo-bene- 
ficio es preciso que se haya hecho previamente una evaluación de 
resultados o efectos; que se puedan traducir éstos y los costos del 
programa en unidades monetarias; y que existan programas alterna- 
tivos para elegir. De lo contrario, el análisis. de costo-beneficio ca- 
rece de posibilidades prácticas y utilidad. Estas circunstancias —po- 
cas veces existentes en programas de intervención social — hacen que 
este tipo de análisis no pueda emplearse con frecuencia en la eva- 
luación de los mismos. 


3. IMPLEMENTACIÓN DEL ANÁLISIS DE COSTO-BENEFICIO 


Antes de examinar los pasos y actividades que implica realizar un 
análisis de costo-beneficio para evaluar un programa social, debemos 
tener preseñte los componentes de este tipo de estudios, 

Ya hemos dicho que, desde el punto de vista del análisis costo- 
beneficio, una intervención, programa o servicio es económicamente 
rentable (eficaz) si sus beneficios son mayores que sus costos. Por 
ello, los dos componentes básicos son: 


3 Idem. 

12 M, Thompson, Benefit-Cost Analysis for Program Evaluation, Beverly Hills, 
Sage, 1980; E. Stokey y R. Zeckhauser, A Primer for Policy Analyses, Nueva York, 
Norton, 1978, ambos citados por P. H. Rossi y H. E. Freeman, ob. cit. 
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e beneficios, es decir, los resultados netos, tangibles e intangi- 
bles, del programa o proyecto, j 
* costos, esto es, los recursos requeridos para la implementación 
del programa (ingresos directos e indirectos). La estimación 
de este componente es compleja ya que es necesario considerar 
los costos de oportunidad (valor de las oportunidades perdi- 
das), los gastos de personal, administración, equipo, facilida. 


todo tipo de 'OSTOS Ope: O- 
> y p costos operaci 


g Ahora bien, conocer los componentes específicos que se inclui- 
rán en los cálculos, depende de la perspectiva de contabilidad qu 
se adopte. Y, además, no: basta listar y relacionar con valores ion 
ferios estos componėntes: es necesario considerar el efecto del 
faet Š e mpor aplicando una tasa de descuento de la, que hablare- 

A continuación vamos a examinar, desde el punto de vista me- 
todológico, el proceso que implica la realización de un análisis de 
costo-beneficio y las fases o pasos que es necesario llevar a cabo 

Si bien la mayoría de los expertos en la materia coinciden en los 
pasos fundamentales, no todos expresan de la misma forma el mé- 


todo del análisis. Así, A >: 3 
l Stinas, is. Así, por ejemplo, según Martin Knapp ** son seis 


a. Definir las alternativas que han de analizarse 

b. Hacer la lista de los costos v efectos. 

c  Cuantificar y valorar los costos y los efectos, 

d. Comparar los costos y los efectos, 

e. Cualificar y revisar esa decisión a la luz del riesgo, la in- 
certidumbre y la sensibilidad. A 


f. Examinar las implicaciones distributivas de las alternativas. 


Segú. i is ógi 
gún Rossi y Freeman *, los pasos metodológicos son: 


— elegir la perspectiva de contabilidad, 
— medir los costos y los beneficios, 


s P. H. Rossi y H. E. Freeman, ob. cit. 
M. Knapp, ob. cit. 


15 P, H. Rossi y H. E. Freeman, ob. cit. 
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— emplear métodos de valoración, 

— considerar la distribución, 

— examinar los efectos secundarios (externos), 
— aplicar el descuento. 


Nuestra propuesta, sin apartarse en lo fundamental de las cono- 
cidas, incluye considerar las siguientes fases o momentos: 


a. Explicitación del marco de referencia 


En lo que concierne al análisis de costo-beneficio, el parámetro prin- 
cipal es axiológico (lo que se valora como «bueno» o «beneficioso»). 
Esto depende, a su vez, del marco ideológico y político de quienes 
realizan la evaluación, aunque, en sentido estricto, la evaluación debe 
tener en cuenta, como fuente principal de valoración, lo que los 
responsables de la formulación y realización del programa conside- 
fan que es bueno y beneficioso. En la práctica, según sean los valores 
explícitos a los que se adhiere, habrá unos u otros aspectos priori- 
tarios a los que se estará dispuesto a asignar recursos. Y esos crite- 
rios son los que servirán de referencia para juzgar. los resultados. 

La cuestión referente a los valores no se discute en el análisis de 
costo-beneficio. En cuanto forma de investigación evaluativa, sim- 
plemente pretende averiguar cuánto cuesta lo que se ha hecho, se 
está haciendo o se va a hacer. Aún cuando supiéramos que la razón 
beneficio-costo es más elevada para un tipo de programa que para 
otro, no elegiríamos necesariamente el programa que rindiese los 
dividendos más elevados; la decisión dependerá, en gran parte, de 
los valores que asignamos a los objetivos. 


b. Identificación de las metas y objetivos 
del proyecto 


Sería un esfuerzo poco útil aplicar el análisis de costo-beneficio, 
como cualquier otro procedimiento de evaluación, si no se han es- 
tablecido claramente cuáles son los objetivos y cómo se han tra- 
ducido los mismos en metas O dimensiones operacionales. Ello 
condiciona la valoración de los beneficios en relación a los costos 
insumidos. 
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E ; ; 
Pe Si se oane tener presente que los verdaderos ob- 
ad dico pi aquellos para los cuales se han asignado 
aa emisar que existan otros «en el papel». Ade- 
a j R s deben traducirse cuantitativamente en metas 
E p an establecer «unidades de producto» de cara a 1 
nel a a la evalua- 
Dicho en otras palabras, si los objetivos son vagos o generales y 


no tienen una traducción cuantit: 1Va, al sis de costo-be: C10 
el 1tat el an 
> áli: d S nefi 


c Realización del análisis costo-beneficio 
propiamente dicho 


Una vi ici 

Dan = a sayi a Rare de referencia e identificados con pre- 

cain o el programa, se procede a realizar el aná- 

e io propiamente dicho. Para esta fase sustantiva 

sao les paración de los flujos de beneficios y costos de 
ión. De una forma más detallada, y teniendo en cuenta 


las orientacione: O: eeman *”, los pasos concretos de e: 
1i s de Rossi y Free 
£ ían 1 o 
y 1 pas nel s de esta 


1° Decidi ; 
p SEF la perspectiva que se adoptará para calcular costos 
cios. En definitiva, responder a la pregunta de: ¿cos- 


tos y beneficios, para quién: Al respecto, son tres las Post 
pueden adoptarse: 


e Contabilidad individual, según el punto de vista de 


la per: izació 
persona, grupo u organización que recibe el pro- 
grama o servicio. 


Esta perspectiva produce mayores beneficios por 


rangos de costos que la 
c e las otras que exami; 
continuación. É edi 


e prometo patrocinador del programa, según 
el punto de vista de la entidad, institución, agencia o 


fundación desde la cual sé financi j 
e sė financia y ejecuta el pro- 


16 Idem. 
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Esta perspectiva es más apropiada cuando hay cla- 
ras opciones políticas que incluyen programas alter- 
nos en condiciones presupuestarias fijas. 


e Contabilidad comunal, según el punto de vista o pers- 
pectiva de la comunidad total o sociedad implicada, 


en términos de ingresos totales. 


Esta perspectiva es la más completa, pero también 
la más difícil de aplicar, por la complejidad de la 
valoración económica de ingresos. 


Para decidir este primer paso, conviene tener presente que un mismo 
componente puede ser costo o beneficio, según la dices que 
se adopte, y el resultado del cálculo del análisis de costo- e S 
por tanto, será diferente y variará de acuerdo a la perspectiva elegida. 


2.2 Especificar, medir y valorar los costos y beneficios, para 
ello, es necesario realizar tres tareas sucesivas: 


a. Identificar y medir costos y beneficios. Esta tarea 
es bastante difícil porque, en el análisis costo-bene- 
ficio ex-ante hay que hacer estimaciones sobre la 
base de pocos datos o datos inexistentes, y en el 
análisis ex-post los datos también son limitados. 

b. Trasladar los costos y beneficios a unidades mo- 
netarias. La dificultad de esta tarea estriba en el 
hecho de que los programas sociales, de ordinario, 
no producen resultados que puedan evaluarse con 
seguridad por los precios del mercado. Los proce- 
dimientos y técnicas que suelen utilizarse para esta 
tarea son, por orden de fiabilidad, los siguientes: 


— Medición monetaria (estimar beneficios mo- 
netarios directos). 3 

— Valuaciones de mercado (calcular en dinero 
las ganancias mediante su valoración en el 


mercado de precios). : 
— Estimación econométrica (estimar el valor su- 
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puesto de una ganancia en términos de merca- 
do).. 

— Cuestiones hipotéticas (estimar el valor de los 
beneficios no monetarios intrínsecos median- 
te el cuestionamiento directo a las poblacio- 
nes objeto). 2 

— Alternativas de observación política (estimar 
los beneficios con base en acciones políticas). 


c Valorar costos y beneficios, empleando precios es- 
pectro o precios. contables. Sin duda, en este punto 
es donde mayores dificultades pueden encontrarse, 
ya que será necesario estimar y valorar la distribu- 
ción de costos y beneficios con criterios de equidad, 
y considerar los efectos secundarios o no busca- 
dos *, externos o colaterales, sean beneficiosos o 
perjudiciales. Esta cuantificación de efectos secun- 
darios no es sencilla, dado su: carácter imprevisto e 
incontrolable en muchos casos **. Ello nos pone de 
manifiesto que la relevancia de un aspecto del 
programa o proyecto no viene dada por sus posibi- 
lidades de ser cuantificable, y bien puede ser al con- 
trario *. Sin embargo, esto no obsta para que se 
incluyan en la evaluación y puedan ser tomados en 


cuenta por quienes deberán tomar las decisiones 
futuras 2, 


1 Para-algunos autores, como Rossi y Freeman, los efectos no buscados pueden 
omitirse de los cálculos. En nuestra opinión, tales posiciones son las que han provo- 
cado inversiones cuyos efectos no buscados han sido más negativos que los efectos 
positivos buscados. Omitirlos de los cálculos esconde actitudes. de «meter la cabeza 
debajo del ala». 

12. E. J.. Mishan, Cost-Benefit Analysis, Washington, Praeger, 1976. 

12 E, Cohen y R.-Franco, ob. cit. 

22 M. Knapp propone tres enfoques para la valoración de intangibles: el capital 
humano, la valoración implícita y. los métodos de disponibilidad para el pago. Sin 
embargo, efectos intangibles tales como «razones estratégicas o de seguridad nacional, 
integración regional, efectos sobre el clima y medio ambiente, etc. no son cuantifi- 
cables económicamente, o mejor dicho, no son traducibles en unidades monetarias, 
pero pueden tener una importancia determinante en la decisión que se tome en cuanto 
a realizar o no un proyecto» (Cf. E. Cohen y R. Franco, Evaluación de proyectos 
sociales, Buenos Aires, GEL, 1988). Por otra parte, la reducción del dolor o la mejora 
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Por lo que respecta a los costos, debemos considerar 
de forma particular los denominados costos de opor- 
tunidad, dado que al ser éstos. insumos no pagados, 
se puede caer en el error de atribuirles un costo 
cero 2, 


3.° Ajustar a valores presentes los costos y beneficios, de acuer- 
do a una base monetaria común. Esto se hace aplicando un 
rango de descuento que permite introducir el factor tiempo 
en la valoración de costos y beneficios, ya que costos y 
beneficios ocurren en momentos diferentes y hay que tra- 
ducirlos a una medida común. En otras palabras, hay que 
responder a la pregunta: ¿cuánto menos valdrán los benefi- 
cios del futuro de aquellos derivados del presente? 

La respuesta dependerá del rango de interés o rango de 
descuento y el tiempo elegido. Ya que un programa apare- 
cerá más benéfico cuanto mayor sea el tiempo-horizonte 
escogido. La elección del rango de descuento se relaciona 
también con la perspectiva de contabilidad elegida; así, por 
ejemplo, se puede utilizar el rango con base en el costo de 
oportunidad del capital (ciertamente desde una posición un 
tanto autoritaria), o emplear el rango de descuento social (se- 
gún la perspectiva de contabilidad. comunal que más adelante 
analizaremos). Estos enfoques, que algunos catalogan como 
arbitrarios, se utilizan comparativamente menos que el ran- 
go de interés de la contabilidad (según la perspectiva del 
patrocinador), o el rango interno de retorno (que suele ser 
el más útil). 

El descuento sé obtiene mediante la fórmula algebraica: 


de tecnología para el tratamiento médico son claramente beneficios, pero... ¿cuánto 
valen esos beneficios? (véase D. Piachaud, «Cost-Benefit Techniques and Social Plan- 
ning», en J. Migdley y D. Piachaud, The Fields and Methods of Social Planning, 
Nueva York, St. Martin's Press, 1984.) 

21 Este tipo de errores suelen cometerse, por ejemplo, cuando interviene mano de 
obra voluntaria. Este costo de oportunidad, si bien es un insumo-no pagado, no tiene 
un valor cero, ya que su participación en el programa en cuestión impide que parti- 
cipen en otra actividad alternativa. De ahí que el costo de oportunidad pueda ser 
definido como «el sacrificio que hace la sociedad como un todo al utilizar un insumo 
o factor en un proyecto concreto, en lugar de asignarlo a otro alternativo» (E. Cohen 


y R. Franco, ob. cit.). 
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Valor Cantidad . : 
al presente de — _Cantidad ; donder = porcentaje de descuento 
una cantidad (1 +r¥ t = número de años 


La tasa interna de retorno vendría dada por: 


a Rt a 
u+» 0; donde » = tasa interna de retorno 
t=0 Rt = ingreso neto del año t, sean positivos 


O negativos, es decir = B, — C, (be- 
neficios menos costos de ese año). 


h D: una forma resumida y general, podemos sintetizar esta acción 
e definir y comparar los beneficios y los costos, es decir, de realizar 
el análisis de costo-beneficio, según los siguientes pasos: 


e determinar los diferentes destinatarios o beneficiarios del pro- 
grama o proyecto (individuos, grupos, familias, colectivos u 
organizaciones) 

© medir el grado de logro de los objetivos del programa, esto 
es, los efectos (resultado de la utilización de los productos del 
proyecto) y. el impacto (consecuencias de los efectos del pro- 
yecto) en los grupos antes identificados. En relación a estas 
dos cuestiones el problema fundamental es el de encontrar 
buenos indicadores 

e determinar los recursos afectados para cada uno de los efectos 
e impactos definidos, De ordinario se procura que la unidad 
de medición sea monetaria, aunque los objetivos del proyecto 
no estén expresados en unidades monetarias (lo que es fre- 
cuente en los, proyectos de tipo social). En este punto hay que 
considerar como costo cualquier sacrificio que afecte a la so- 
ciedad en su conjunto, independientemente de quién lo soporte 

e por último, sumar los costos por una parte y los. beneficios 
por otra, para comparar luego los resultados. Esto último se 
hace dividiendo los costos (monetarios), por los efectos ex- 
presados en productos (monetarios) que son el resultado de 
las actividades desarrolladas. En está comparación se han de 

incluir tanto los aspectos' cuantitativos como los cualitativos. 
Hay que tener en cuenta que nunca o muy pocas veces los 
efectos de un programa son puntuales en el tiempo sino que 
se experimenta a lo largo de meses o años (según la índole del 
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programa). Esto exige la actualización del valor de los costos 
y beneficios. Para ello, costos y beneficios deben ser homo- 
geneizados, teniendo en cuenta las preferencias que la gente 
(los destinatarios) tienen por el consumo presente o diferido. 


No cabe duda que, en teoría, el análisis de costo-beneficio es un 
procedimiento óptimo para seleccionar alternativas u Opciones ma- 
ximizadoras del ‘beneficio, pero en los proyectos y programas de 
acción social se presentan muchas limitaciones en su aplicación. Los 
efectos intangibles resulta imposible traducirlos o reducirlos a tér- 
minos monetarios. Y esos efectos, en algunos programas, son los 
más significativos. De ordinario son heterogéneos y diversos, con- 
sécuentemente, difíciles de medir. 

A modo de conclusión hemos de señalar que la tarea básica, en 
relación a este punto, es la de construir un modelo o diseño que 
permita mostrar cómo las variables más significativas funcionan den- 
tro del proyecto. Éste debe hacerse de modo que sea posible esta- 
blecer que, dado un insumo o servicio, podemos relacionarlo con 
los posibles (o reales) resultados o productos. Otra forma de esta- 
blecer esta relación es la de comparar la cantidad del insumo (costos) 
que se necesita para producir un nivel dado de productos y efectos 
(beneficios). 


4. DIFERENCIAS ENTRE LA EVALUACIÓN PRIVADA 
Y LA EVALUACIÓN SOCIAL EN LA APLICACIÓN 
DEL ANÁLISIS DE COSTO-BENEFICIO 


El análisis de costo-beneficio ha sido aplicado desde sus comienzos 
al ámbito de la empresa privada y de los negocios. Como es natural, 
su preocupación central ha sido la de valorar los costos y beneficios 
a precios de mercado. Esto ha sido —y es— lo que se llama la 
evaluación privada, y es un tipo de valoración de recursos y pro- 
ductos para los que existe un mercado. , 

Pero también existe lo que se denomina la evaluación social que 
utiliza precios sociales o precios sombras, con los que se expresa el 
valor real que la sociedad atribuye a un proyecto. En otras palabras, 
revela la disposición de la sociedad a pagar bienes y servicios qué 
deben ser cubiertos por el proyecto y cuya realización supone un 
beneficio “para la comunidad en su conjunto. 
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En muchos proyectos y programas sociales, el «producto» o «pro- 
ductos» no son canjeables en el mercado, puesto que los beneficios, 
son «beneficios sociales» que no siempre se pueden cuantificar y, en 
ellos, lo que de verdad interesa, es el impacto que el proyecto tiene 
sobre el bienestar general o calidad de vida del conjunto de una 
colectividad. Se trata, por consiguiente, de una valoración: realizada 
desde la perspectiva de una sociedad determinada (frecuentemente 
un país) que pretende alcanzar un cierto nivel o clase de beneficios. 

Guando se trata de la' evaluación privada, el análisis de costo- 
beneficio normalmente se realiza ex-ante. En cambio en los proyec- 
tos sociales la evaluación de este tipo suele realizarse ex-post, ya sea 
durante su realización o bien cuando se ha terminado el programa 
o proyecto. En la evaluación social se consideran también, y de 
manera especial, los efectos indirectos o externalidades (también de- 
nominados costos y beneficios secundarios o colaterales). Se trata de 
efectos que gravitan sobre terceros, es decir, sobre personas, grupos 
o sectores de la sociedad no destinatarios del proyecto. Estos efectos 
son en su mayoría incontrolables e imprevistos y tienen encadena- 
mientos de efectos «hacia adelante» y «hacia atrás», de carácter po- 
sitivo o negativo 2, ` 

Evaluar los efectos previstos o buscados no ofrece tantas dificul- 
tades técnicas y de procedimientos como evaluar las externalidades 
o efectos secundarios, de los que hablamos en el parágrafo anterior. 
Sin embargo; una aproximación para identificarlos es la de comparar 
la situación creada (o la que se espera lograr) y la situación que 
existiría si el proyecto no se realizase. 

Otro aspecto a considerar desde la perspectiva de la evaluación 
social es la determinación de la tasa de descuento social, que apenas 
hemos mencionado antes. La cuestión es la siguiente: los beneficios 
de un programa se alcanzan a medio y largo plazo, prácticamente 
nunca son inmediatos. En algunas ocasiones un programa debe afron- 
tar costos durante varios años, sin que produzca beneficios. Conse- 
cuentemente, invertir en un proyecto es posponer un consumo in- 
mediato. En otras palabras: los costos son actuales (y se prolongan 
en el tiempo), pero los.beneficios son futuros. Esto plantea —como 
ya dijimos— el problema de traducir los costos de hoy y los bene- 
ficios futuros, a una misma unidad de medida y comparación. Pre- 
cisamente la determinación de la-tasa de descuento social, tiene por 


2 E, Cohen y R. Franco, ob. cit. 
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finalidad traducir, a un valor presente, los costos y beneficios que 
resultarán del proyecto en el futuro a mediano y largo plazo. 
Cuando se trata de un proyecto de corta duración, con resulta- 
dos a corto plazo, el problema no es significativo, pero en proyectos 
a medio y largo plazo hay que determinar cuánto de un consumo 
presente una sociedad está dispuesta a sacrificar o ceder para lograr 
un consumo futuro. En el fondo es una cuestión de preferencia 
temporal que, en última instancia, viene determinada por una deci- 
sión política de ún programa de partido y, a veces, de consideracio- 
nes muy pragmáticas condicionados por situaciones coyunturales. 
En definitiva, no debemos olvidar que «cualquier análisis econó- 
mico costo-beneficio, no importa cuan bien hecho esté, tiene sus 
limitaciones, particularmente cuando está involucrado un servicio 
humano complejo» ”. Además, «la justificación de la valoración mo- 
netaria está siempre en la finalidad del proyecto y no en la conver- 
tibilidad de los efectos en magnitudes monetarias. Si esta condición 
no se cumple, las magnitudes monetarias del análisis se convierten 
en fetiche en manos del evaluador, el cual usurpa, según observa 
Scott, el derecho de los electores y el privilegio de los políticos de 
tomar decisiones respecto de los fines del bienestar social» ?*. 


5. EL ANÁLISIS DE COSTO-EFICACIA COMO PROCEDIMIENTO 
PARA MEDIR LA EFICIENCIA 


Junto con el análisis de costo-beneficio, el análisis de costo-eficacia 
también denominado de costo-efectividad—, es un procedimiento 
que busca maximizar la eficiencia en el logro de los objetivos de un 
programa o proyecto. La única diferencia entre ambos tipos de eva- 
luación económica es que, en el caso del análisis de costo-eficacia, 
los resultados no están expresados en unidades monetarias como en 
el caso del análisis de costo-beneficio. En resumen, el análisis de 
coste-eficacia es «una técnica analítica que-compara los costos de un 


2 B. Weisbrod y M. Helming, «What Benefit-Cost Analysis Can and Cannot 
Do. The Case of Treating the Mentally Illness», en E. Stromsdorfer y G. Farkas, 
Evaluation Studies Review Annual, núm. 5, Beverly Hills, Sage, 1980. 

24 S, A, Musto, Análisis de eficiencia. Metodología de la evaluación de proyectos 
sociales de desarrollo, Madrid, Tecnos, 1975. 
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proyecto con los beneficios resultantes, no estando expresados en la 
misma unidad de medida» ”. 

Este tipo de análisis, al igual que el de costo-beneficio, puede 
aplicarse antes o después de ejecutado el programa. Y en este punto 
conviene realizar algunas precisiones: algunos autores suelen distin- 
guir el análisis de costo-eficacia real (cost-effectiveness) del análisis 
de costo-eficacia potencial (cost-efficacy). Generalmente, el primer 
tipo se emplea en la evaluación ex-post, mientras que el segundo se 
utiliza generalmente en las evaluaciones ex-ante: Es decir, la eficacia 
real de un programa se distingue de la eficacia potencial por el hecho 
de que la primera es medida después de los resultados de la aplica- 
ción de un programa o intervención en una población determinada. 
La eficacia potencial, en cambio, es evaluada en un contexto expe- 
rimental controlado, presentando las condiciones «ideales» ?*. En 
otras palabras, mientras que el análisis de costo-eficacia potencial se 
aplica en las poblaciones-objetivo, el análisis de costo-eficacia real 
es aplicado en las poblaciones afectadas por el programa o interven- 
ción. 

También conviene distinguir la eficacia real del rendimiento, por 
el hecho de que la primera es evaluada simplemente por los resul- 
tados obtenidos, mientras que el rendimiento es por los resultados 
obtenidos comparativamente con los medios utilizados (costos, re- 
cursos, tiempo, etcétera). El análisis de costo-eficacia siempre rela- 
ciona resultados con costos, de ahí que no sea el único medio que 
puede emplearse para evaluar resultados. Aunque sí es uno de los 
pocos que pueden ayudarnos a evaluar resultados en relación con 
los insumos y, de esta forma, medir la eficiencia de un programa. 
Es importante que tengamos esto en cuenta, ya que las. dos nociones 
no necesariamente van a la par, y a veces van en sentido contrario. 
Por ejemplo, puede ser que la eficacia real de una intervención sea 
perfectamente demostrada, mientras que su eficiencia o rendimiento, 
a causa de la complejidad tecnológica o de sus elevados costos, pue- 
de ser muy baja, y desaconseje su aplicación posterior. 

En relación con el análisis de costo-beneficio, podemos afirmar 
que el de costo-eficacia o costo-efectividad suele ser más aplicable 


25 P, H. Rossi; H. E. Freeman y S. R. Wright, Evaluation. A Systematic Ap- 
proach, Beverly Hills, Sage, 1979. 

26 A. Jammal; R. Allard y G. Loslier, Dictionnaire d'epidemiologie, París, Edisem, 
1988. 
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en programas sociales, debido a la dificultad qué muchas veces existe 
en este tipo de intervenciones para reducir resultados a unidades 
monetarias. Como en el análisis de costo-efectividad los costos se 
expresan en dinero, pero los efectos se expresan en unidades de 
resultados u objetivos cuantificables, su empleo suele ser más fre- 
cuente y útil. 

Gráficamente, la diferencia entre ambos tipos de análisis. econó- 
mico, podría quedar expresada en el siguiente cuadro: 


„7 Análisis de costo-beneficio ——=—___ 
e A 
a “sa 
COSTOS <a —— INSUMOS ticas Sa — dr ESTADOS —— > BENEFICIOS 
5 y 
Sa N pao 


“h Análisis de costo-efectividad -7” 


«El análisis de costo-efectividad permite comparar y ordenar de 
modo gradual los programas en términos de sus costos para alcanzar 
las metas dadas, o los diversos ingresos requeridos para cada grado 
de consecución de metas; sin embargo, como los beneficios no se 
convierten asun común denominador, no se puede asegurar el valor 
o mérito de una intervención dada, ni comparar cùál de dos o más 
programas en diferentes áreas producen mejores retornos. Sólo se 
puede comparar la eficacia relativa de las metas del programa unas 
con respecto de otras, en que la eficacia es una función del costo 
mínimo» 7, 

Los principios que fundamentan este tipo de análisis son los mis- 
mos que para el de costo-beneficio, y su implementación es básica- 

: mente la misma. Sin embargo, las fases o etapas que para realizar un 
análisis de:costo-efectividad proponen Cohen y Franco 2 nos pare- 
cen bastante útiles, y coinciden parcialmente con las que ya hemos 
examinado para el análisis de costo-beneficio: 


. a. Identificar con precisión los objetivos del proyecto, es de- 
cir, aquellos para los cuales se han asignado recursos. 
b. Traducir los objetivos en dimensiones operacionales o me- 


27 P.H. Rossi y H. E. Freeman, ob. cit. 
28 E, Cohen y R. Franco, ob. cit. 
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tas expresando en magnitudes cuantitativas los fines cualita- 
tivos. 

c. Especificar las alternativas que serán evaluadas, homoge- 
neizando previamente las unidades de producto si fuese ne- 
cesario. 

d. Medir los recursos afectados en valores monetarios, del 
mismo modo que cuando se aplica el análisis de costo-bene- 
ficio. 

e. Medir el grado de logro de los objetivos, considerando 
también los posibles efectos secundarios no esperados o ex- 
ternos. 

f. Comparar las alternativas, resultantes de dividir los costos 
(monetarios) por los efectos (expresados en unidades de pro- 
ducto). 


En cualquier caso, tanto el análisis de costo-beneficio como el 
análisis de costo-efectividad se guían por el principio de que es pre- 
ferible el programa que produce mayor influencia en las poblacio- 
nes-objetivo por el mismo gasto. Por ello, constituyen instrumentos 
útiles de evaluación económica de programas sociales, y la decisión 
de aplicar uno u otro dependerá de los requisitos previos existentes 
y las posibilidades de emplear los instrumentos de medida que: re- 
quieren ambos análisis. ` 


6. CONSIDERACIONES PRÁCTICAS SOBRE EL ANÁLISIS 
DE COSTO-UTILIDAD, COMO PROCEDIMIENTO PARA EVALUAR 
Y SELECCIONAR PROGRAMAS ALTERNATIVOS 


Como ya lo definimos en el primer parágrafo de este capítulo, el 
análisis de costo-utilidad compara los costos (expresados en unida- 
des monetarias) con los beneficios tal y como son vividos por los 
beneficiarios. Es decir, compara el valor monetario de los insumos 
requeridos, con el valor real de los efectos en los individuos a los 
que ha afectado o afectará el programa, expresado por medio de 
medidas subjetivas (beneficios percibidos por el mismo individuo) ?. 
Por este motivo, es un procedimiento útil para seleccionar y tomar 
decisiones, cuando están en pugna varios programas o proyectos 


2 R. Pineault y C. Daveluy, ob. cit. 
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alternativos. En estos casos, al aplicar el análisis de costo-utilidad, 
se puede tomar la decisión de apoyar uno u otro programa, de acuer- 
do alas preferencias existentes por parte de los afectados. 

Este tipo de análisis se inscribe en lo que Edwards denomina y 
propone como evaluación multiatributo. Este método (Multiattri- 
bute Utility Technology), exige que el objeto de evaluación pueda 
‘ser descompuesto en valores o atributos y que se puedan. establecer 
niveles de predominancia de cada valor o atributo. El procedimiento 
se estructura en las siguientes fases *; 


1. Identificación de los objetos de evaluación (y la función o 
funciones que la evaluación debe cumplir). 

2. Identificar interesados o sujetos que puedan participar en la 
evaluación. 

3. Inferir de los interesados o sujetos representativos dimensio- 
nes evaluativas o atributos, y organizarlos según una estruc- 
tura de «árbol de evaluación». 

4. Fijar la relativa importancia de cada grupo de atributos según 
los sujetos, o según los diferentes objetos de evaluación. 

5. Comprobar que cada sujeto de evaluación se ajusta a las di- 
mensiones o atributos. 

6. Estudiar.los cauces para la recomendación de decisiones si 
procede, en el conjunto de la investigación (medidas, etcé- 
tera). 


Esto implica o necesita la existencia de una clara determinación 
de los costos, y una relativa determinación de los productos, que, si 
bien pueden ser imprecisos, requieren de cierta aproximación. Así, 
este tipo de análisis puede aplicarse cuando, a un costo fijo, existen 
varias alternativas de acción-inversión que producirán previsiblemen- 
te resultados parecidos, y la elección se realiza de acuerdo a lo que 
presenta o arroja mayores utilidades subjetivas para los afectados. 

Para realizar un análisis de costo-utilidad, es necesario dar los 
pasos siguientes: 


30 W, Edwards, «Multiattribute Utility for Evaluation: Structures, Uses and Pro- 
blems», en M. Klein y K. Teilman (comps.), Handbook of Criminal Justice Evalua- 
tion, Beverly Hills, Sage, 1980. Citado por J. A. Corraliza-Rodríguez y J. M. Fer- 
nández Dols, «La evaluación ambiental: hacia un modelo de enfoque múltiple», en 
Evaluación Psicológica, vol. 3, núm. 2, Madrid, 1987. 
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1. Definir el objetivo del análisis, que generalmente será com- 
parar varias alternativas de intervención a costos y resultados 
parecidos o similares. 

2. Identificar las personas que tienen un interés legítimo en 
la evaluación. En unos casos serán los afectados directos, en 
otros el personal del programa, en otros la comunidad a la 
que afecta... Dependiendo del tipo de decisión que se tome 
y el carácter o naturaleza de la intervención. 

3. Determinar las dimensiones de valor para las utilidades (atri- 
butos), entre las personas o representantes de las partes identi- 
ficadas en el punto segundo. Es decir, entre todos los interesados 
en la evaluación se construye un «árbol de atributos», conside- 
rando las posibles utilidades de las intervenciones alternativas. 

4. Ponderar los atributos y valores, mediante un sistema de 
comparación de razones que posteriormente deberán tradu- 
cirse en una escala (0-1, ó 0-10). 

5. Establecer medidas objetivas de cada una de las dimensiones 
que se consideran importantes, unificando las escalas (puede 
utilizarse una escala de 0-100). 

6. Calcular las utilidades, multiplicando y sumando los resul- 
tados para cada una de las alternativas a elegir. 

7. Analizar la sensitividad, para resolver el problema de la sub- 
jetividad, modificando el proceso de ponderación (ya sea uti- 
lizando lás medias de grupo o individuales, eliminando las 
cifras extremas, o cualquier otro procedimiento similar). 


Por último, queremos hacer una consideración final sobre el aná- 
lisis de costo-utilidad y su relación con otras formas de evaluación 
económica de programas sociales: si bien es cierto que este tipo de 
estudio sólo es útil ex-ante, a veces puede ser innecesario cuando.los 
costos y/o los resultados entre las alternativas son muy diferentes. 
Sin embargo, el elemento que se introduce en este tipo de análisis, 
relativo a la valoración subjetiva que las personas hacen de los be- 
neficios de un programa, hace que sea especialmente interesante de 
aplicar en aquellas circunstancias. donde la participación de los afec- 
tados se considera sustancial para el programa y sus promotores, En 
definitiva, si bien el análisis de costo-utilidad tiene menores aplica- 
ciones, dentro de las limitaciones de la evaluación económica es el 
más participativo. O, para decirlo más modestamente, el que mejor 
permite que se exprese la opinión directa de la gente. 


